[論文レビュー] Differentiable Top-k Classification Learning

Felix Petersen, Hilde Kuehne+2 more|arXiv (Cornell University)|Jun 15, 2022

Anomaly Detection Techniques and Applications被引用数 10

ひとこと要約

この論文は、学習可能な分布P_Kからkをサンプリングすることで、同時に複数のk値を最適化する微分可能top-k交差エントロピー損失を提案している。微分可能ソートとランク付けを活用することで、エンド・ツー・エンドの訓練が可能になる。この手法はtop-1およびtop-5の正確性を向上させ、公開済みモデルを用いて最後のレイヤーのファインチューニングのみでImageNet-1Kで新たなSOTA結果を達成した。

ABSTRACT

The top-k classification accuracy is one of the core metrics in machine learning. Here, k is conventionally a positive integer, such as 1 or 5, leading to top-1 or top-5 training objectives. In this work, we relax this assumption and optimize the model for multiple k simultaneously instead of using a single k. Leveraging recent advances in differentiable sorting and ranking, we propose a differentiable top-k cross-entropy classification loss. This allows training the network while not only considering the top-1 prediction, but also, e.g., the top-2 and top-5 predictions. We evaluate the proposed loss function for fine-tuning on state-of-the-art architectures, as well as for training from scratch. We find that relaxing k does not only produce better top-5 accuracies, but also leads to top-1 accuracy improvements. When fine-tuning publicly available ImageNet models, we achieve a new state-of-the-art for these models.

研究の動機と目的

• top-k分類における固定kの制限に対処する。通常、モデルは1つのk（例：top-1）に対してのみ訓練されるが、評価では複数のkメトリクスが使用される。
• 固定kではなくk値の分布を用いて訓練することで、モデルの汎化性と耐性を向上させる。
• 微分可能ソートとランク付けを損失関数に統合することで、top-k分類におけるエンド・ツー・エンドの微分可能訓練を可能にする。
• kの緩和がtop-k正確性だけでなくtop-1性能の向上にも寄与することを示す。特にファインチューニングのシナリオにおいて顕著である。

提案手法

• 微分可能ソートとランク付け手法（例：SinkhornSort, DiffSortNets）を活用し、クラス順位の確率分布を計算することで、微分可能なtop-k操作を実現する。
• k値の分布P_K（例：50% top-1, 50% top-2）を定義し、複数のtop-k目的の混合物としてモデルを訓練可能にする。
• P_Kから導出される累積重みを用いて、top-k確率の重み付き和として有効な損失を計算し、ランク付け操作を介した勾配伝播を可能にする。
• 得られた確率分布pを用いて、ネットワーク重みに関して微分可能な交差エントロピー損失を計算する。
• k選択のためのスプリッタ選択ネットワークを採用し、k選択に必要なレイヤー数を削減することで効率性を向上させる。
• CIFAR-100, ImageNet-1K, ImageNet-21K-Pで、スクラッチからの訓練およびファインチューニングの両方において損失を適用し、スケーラビリティとパフォーマンスを評価する。

実験結果

リサーチクエスチョン

• RQ1 固定kではなくk値の分布を用いて訓練することで、top-1およびtop-5分類正確性が向上するか？
• RQ2 微分可能ソートとランク付けを用いた微分可能top-k学習は、標準的な分類タスクにおける汎化性と耐性を向上させるか？
• RQ3 提案された損失は、最小限の計算コスト（例：分類器ヘッドのファインチューニングのみ）でImageNet-1KでSOTAパフォーマンスを達成できるか？
• RQ4 この手法は、10,000クラスを超えるデータセット（例：ImageNet-21K-P）に対してもスケーラブルか？
• RQ5 ベースラインモデルが事前に微調整され、高度に最適化されていても、この手法は標準的なtop-1交差エントロピー損失を上回るか？

主な発見

• 提案されたtop-k損失は、CIFAR-100, ImageNet-1K, ImageNet-21K-Pを含むすべての評価済みデータセットでtop-1およびtop-5正確性を向上させた。
• ImageNet-1Kでは、Noisy Student EfficientNet-L2をファインチューニングした際、top-1正確性が88.37%、top-5正確性が98.68%というSOTAの結果を達成した。
• ResNeXt-101 32x48d WSLでは、top-5正確性が0.2%向上し、再訓練コストのほんの一部で10%の誤差削減を達成した。
• ImageNet-21K-Pでは、最後のレイヤーのファインチューニングのみで、top-5正確性が1%以上絶対的に向上し、大規模分類へのスケーラビリティを示した。
• 有意性検定により、向上は統計的に有意である（p < 0.01）ことが確認され、top-1正確性のp値は0.00001、top-5正確性のp値は0.00005であった。
• DiffSortNetsおよびSinkhornSortを用いた複数の微分可能ソート手法において、ベースラインのtop-1交差エントロピー損失を常に上回った。特に両手法が最大の向上を示した。