[論文レビュー] What's in a Loss Function for Image Classification?

Simon Kornblith, Honglak Lee+2 more|arXiv (Cornell University)|Oct 30, 2020

Machine Learning and Data Classification参考文献 38被引用数 7

ひとこと要約

本稿では、さまざまな損失関数および正則化戦略が画像分類性能に与える影響を調査し、ラベルスムージングのような改善された目的関数が、最終層の分離性を向上させることで精度とキャリブレーションを向上させるが、下流タスクへの特徴の転送性を低下させることを示している。主な洞察は、性能向上がより深い表現の変化によるものではなく、より良い意思決定境界によるものであるということである。

ABSTRACT

It is common to use the softmax cross-entropy loss to train neural networks on classification datasets where a single class label is assigned to each example. However, it has been shown that modifying softmax cross-entropy with label smoothing or regularizers such as dropout can lead to higher performance. This paper studies a variety of loss functions and output layer regularization strategies on image classification tasks. We observe meaningful differences in model predictions, accuracy, calibration, and out-of-distribution robustness for networks trained with different objectives. However, differences in hidden representations of networks trained with different objectives are restricted to the last few layers; representational similarity reveals no differences among network layers that are not close to the output. We show that all objectives that improve over vanilla softmax loss produce greater class separation in the penultimate layer of the network, which potentially accounts for improved performance on the original task, but results in features that transfer worse to other tasks.

研究の動機と目的

• 損失関数および出力層の正則化戦略の変化が、画像分類におけるモデルの性能、キャリブレーション、耐性に与える影響を理解すること。
• 訓練目的の違いが、ネットワークの各層における学習済み表現に意味的な変化をもたらすかどうかを調査すること。
• 異なる目的関数で学習された特徴の、ドメイン内性能と転送性のトレードオフを評価すること。
• 訓練目的のうち、モデルの挙動と一般化に最も顕著な影響を与える要因を同定すること。

提案手法

• ヴァニラなソフトマックス交差エントロピー、ラベルスムージング付き交差エントロピー、ドロップアウトを含む正則化バリエーションを含む、複数の損失関数を比較した。
• アーキテクチャとデータを同一に保ちながら、標準的な画像分類ベンチマークで異なる目的関数を使用して深層ニューラルネットワークを訓練した。
• 代表的類似度分析（RSA）を用いて隠れ表現を分析し、各層および訓練目的間での特徴マップを比較した。
• ドメイン内精度、キャリブレーション（例：期待キャリブレーション誤差）、およびドメイン外の耐性を評価した。
• 相互クラス距離および内的クラス距離などの指標を用いて、最終層のクラス分離度を定量化した。
• 下流のビジョンタスクで微調整することにより転送性を評価し、性能向上を測定した。

実験結果

リサーチクエスチョン

• RQ1 異なる損失関数は、画像分類器の精度、キャリブレーション、ドメイン外の耐性にどのように影響するか？
• RQ2 異なる訓練目的が、深層ニューラルネットワークにおける学習済み表現にどの程度変化をもたらすか？
• RQ3 性能の違いは、初期層か最終層の表現の変化によるものか。主にどこで発生するか？
• RQ4 元のタスクでの性能向上は、他のタスクへのより良い転送性と相関するか？
• RQ5 最終層でのクラス分離度と全体のモデル性能の間にどのような関係があるか？

主な発見

• ヴァニラなソフトマックス交差エントロピーの改善版であるラベルスムージングなどの損失関数は、画像分類ベンチマークで高い精度とより良いキャリブレーションを達成する。
• 改善された目的関数は、最終層でのクラス分離性を顕著に向上させ、ドメイン内性能の向上と相関している。
• ネットワークの各層における隠れ表現の差は限定的で、主に最終数層に限定されており、表現の変化が出力に近い領域に局在していることを示している。
• 元のタスクでの性能向上にもかかわらず、高度な目的関数で訓練されたモデルは、下流タスクへの転送性が劣る。
• 精度とキャリブレーションの向上は、主に最終層での意思決定境界の改善によるものであり、初期の特徴階層の変化によるものではない。
• ドメイン内性能と転送性のトレードオフは、出力層における強い正則化が新しいタスクへの一般化を損なう可能性があることを示唆している。