[論文レビュー] Evaluating the Impact of Loss Function Variation in Deep Learning for Classification

Simon Dräger, Jannik Dunkelau|arXiv (Cornell University)|Oct 28, 2022

Machine Learning and Data Classification被引用数 4

ひとこと要約

本論文は、MSE、MAE、CCE、KLD の異なる損失関数が、複数のデータセットにおける深層学習分類性能に与える影響を実証的に評価している。6つのデータセットのうち4つにおいて、Kullback-Leibler Divergence (KLD) が広く使われているCross-Entropy (CCE) 損失を上回ることを発見し、CCE の機械的な採用を疑問視するとともに、損失関数を固定の選択肢ではなく、調整可能なハイパーパrameterとして扱うべきだと提言している。

ABSTRACT

The loss function is arguably among the most important hyperparameters for a neural network. Many loss functions have been designed to date, making a correct choice nontrivial. However, elaborate justifications regarding the choice of the loss function are not made in related work. This is, as we see it, an indication of a dogmatic mindset in the deep learning community which lacks empirical foundation. In this work, we consider deep neural networks in a supervised classification setting and analyze the impact the choice of loss function has onto the training result. While certain loss functions perform suboptimally, our work empirically shows that under-represented losses such as the KL Divergence can outperform the State-of-the-Art choices significantly, highlighting the need to include the loss function as a tuned hyperparameter rather than a fixed choice.

研究の動機と目的

• 深層学習分類において、Cross-Entropy (CCE) をデフォルトの損失関数として広く無批判に採用する慣習に挑戦すること。
• 異なる損失関数が多様なデータセットにおいてモデルの性能、収束、安定性に与える影響を実証的に評価すること。
• あまり使われていない損失関数（例：KLD）が、特に多クラス設定において、最先端の選択肢を顕著に上回ることを示すこと。
• 損失関数を固定の公理ではなく、最適化すべきハイパーパrameterとして扱うべきだと提言すること。
• f-発散などのカスタムおよび情報理論的損失関数に関する今後の研究を促すこと。

提案手法

• 本研究は、標準的な4つの損失関数（Mean Squared Error (MSE)、Mean Absolute Error (MAE)、Categorical Cross-Entropy (CCE)、Kullback-Leibler Divergence (KLD)）を評価した。
• 各損失関数は、Mushroom、Phishing、MNIST、Fashion-MNIST、CIFAR-10、CharFontIm の6つのベンチマークデータセットに同じ深層ニューラルネットワークアーキテクチャを適用した。
• 同じ最適化アルゴリズム（Adam）とハイパーパrameterを用いて100エポック分訓練し、テスト精度、平均の標準誤差（SEM）、F1スコア（ϕ）、AUC を性能指標として測定した。
• KLD は数学的に CCE からラベルエントロピーを引いたものとして分解され、情報理論的解釈（データを符号化するために余分に必要なビット数）が強調された。
• 統計的信頼性を確保するため、複数のランダムシードで実験を繰り返し、平均性能と標準誤差を計算した。
• 性能は、精度に加え、ロバストネス指標（ϕ と AUC）を用いて損失関数間で比較され、直接比較可能な形で表形式で報告された。

実験結果

リサーチクエスチョン

• RQ1 損失関数の選択が、深層ニューラルネットワークの最終分類精度に顕著な影響を与えるか？
• RQ2 CCE ほど広く採用されていないが、KLD や他の類似損失関数が、標準的な分類タスクにおいてCCE を上回る可能性は有るか？
• RQ3 異なる損失関数は、標準誤差とロバストネス指標で測定した場合、モデルの安定性と収束にどのように影響を与えるか？
• RQ4 MAE は回帰において外れ値に対してロバストであるにもかかわらず、なぜ複雑な画像データセットでは性能が低かったのか？
• RQ5 深層学習パイプラインにおいて、損失関数を固定のデフォルトではなく、ハイパーパラメータとして最適化すべきである程度はどの程度か？

主な発見

• MNIST データセットでは、MAE が 99.30% ± 0.01% のテスト精度を達成し、CCE（98.99% ± 0.03%）とKLD（98.84% ± 0.04%）を上回った。これは条件付き中央値を学習するのに効果的である可能性を示唆している。
• Mushroom データセットでは、KLD が 100.00% ± 0.00% の正確さを達成し、CCE（99.67% ± 0.10%）とMSE（99.69% ± 0.26%）を顕著に上回り、F1スコアとAUCがともに100%であった。
• Fashion-MNIST では、KLD が 90.47% ± 0.11% の正確さを達成し、CCE（88.60% ± 0.11%）とMSE（87.96% ± 0.04%）を上回り、F1スコア（0.89）とAUC（0.99）が最高を記録した。
• CIFAR-10 では、CCE が 78.13% ± 0.28% の正確さを達成し、他のすべての損失関数の中で最高であった。一方、KLD は 70.05% ± 0.30% にとどまり、複雑なカラー画像分類においてCCEが依然として優れていることを示している。
• CharFontIm では、KLD が 76.62% ± 0.02% の正確さとAUC 0.99 を達成し、CCE（69.21% ± 0.97%）とMAE（3.37% ± 1.52%）を上回った。これは、非標準の画像データに対して優れた性能を示している。
• KLD は6つのデータセットのうち4つで最良またはほぼ最良の性能を達成し、高いF1スコアとAUC値を示した。これは、多クラス設定において優れた汎化性能とロバストネスを有していることを示唆している。