[論文レビュー] Uses and Abuses of the Cross-Entropy Loss: Case Studies in Modern Deep Learning

Elliott Gordon-Rodríguez, Gabriel Loaiza-Ganem+2 more|arXiv (Cornell University)|Nov 10, 2020

Adversarial Robustness in Machine Learning参考文献 28被引用数 55

ひとこと要約

本論文は、シンプルク値ターゲットに対するクロスエントロピーの使用を批判し、ラベル平滑化(CC-LS)およびアクター imit 強化学習(CC-AMN)の連続-カテゴリ分布に基づく確率的代替を提案する。タスク間で混合的な経験的結果が見られる。

ABSTRACT

Modern deep learning is primarily an experimental science, in which empirical advances occasionally come at the expense of probabilistic rigor. Here we focus on one such example; namely the use of the categorical cross-entropy loss to model data that is not strictly categorical, but rather takes values on the simplex. This practice is standard in neural network architectures with label smoothing and actor-mimic reinforcement learning, amongst others. Drawing on the recently discovered continuous-categorical distribution, we propose probabilistically-inspired alternatives to these models, providing an approach that is more principled and theoretically appealing. Through careful experimentation, including an ablation study, we identify the potential for outperformance in these models, thereby highlighting the importance of a proper probabilistic treatment, as well as illustrating some of the failure modes thereof.

研究の動機と目的

• ターゲットが厳密なカテゴリではなくシンプソク上にある場合、確率的処理の必要性を動機づける。
• シンプル-valuedデータに対する principled な代替として連続-カテゴリ(CC)対数尤度を導入する。
• CIFAR-10でラベル平滑化の代替としてCC-LSを評価し、正則化と表現学習を評価する。
• AtariゲームにおけるActor-Mimic強化学習でのクロスエントロピーの代替としてCC-AMNを評価する。
• CCベースの尤度が深層学習実践に与える影響と限界を論じる。

提案手法

• CC分布を、特定の対数比式による正規化定数C(λ)を用いたクロスエントロピー尤度の正規化版として定式化する。
• クロスエントロピー損失をCC対数尤度で置換する：l(λ;y) = -log C(λ) - sum_k y_k log λ_k (Equation 2)。
• ラベル平滑化へCCを適用し、one-hotラベルの代わりにシンプソク-valuedターゲットy^LSを使用してCC-LSをCC目的関数（Equation 7）として定義する。
• Actor-Mimic強化学習へCCを適用し、AMNの訓練目的をCC-AMN（Equation 11）として再定式化する。
• LS、CC-LS、およびベースラインを、BatchNorm、Dropout、ウェイトデケイ設定の変化下で比較するアブレーション研究と正則化項のアブレーションを実施する。
• 特に大きいKに対するCC正規化定数の数値安定性とスケーラビリティの制限を評価する。

実験結果

リサーチクエスチョン

• RQ1 クロスエントロピーをCC対数尤度に置換することは、ラベル平滑化の正則化や表現学習を改善するか。
• RQ2 CC-LSは一般的なCNN正則化規程の下で、バニラのラベル平滑化より優れているか。
• RQ3 CC-AMNは複数タスク強化学習設定で標準AMNより有利になるか、そしてその失敗モードは何か。

主な発見

モデル	Breakout	Atlantis	Pong	SpaceInvaders
DQN	331 (±44)	32,833 (±14,430)	20.9 (±0.2)	442 (±119)
AMN	337 (±74)	31,558 (±9,084)	20.9 (±0.1)	415 (±126)
CC-AMN	320 (±66)	26,196 (±10,396)	8.8 (±11.9)	415 (±132)

• CC-LSはCIFAR-10の未正則化CNNでLSおよびベースラインを大きく上回る。一方、BatchNormはLSとCC-LSの利点を打ち消すことがある。
• CC-LSはOLSとは異なる正則化効果を提供し、特にBatchNormが欠如している場合に豊かな学習表現を生み出す可能性がある。
• CC-AMNはほとんどのAtariゲームでAMNと同程度の性能を達成するが、Pongでは正規化定数がほぼ一様λ近傍での数値的問題により不安定で結果が悪化する。
• アブレーションでは、BatchNormが欠如した場合にCC-LSが利得を示し、ウェイトデケイなしBatchNormでテスト精度のばらつきを低減できる可能性がある。
• CC-LSとCC-AMNは、シンプソク-valuedターゲットの確率的解釈が利点を生むという共通洞察を示すが、アーキテクチャと初期化の影響が依然重要である。
• λがほぼ一様に近いときの数値的不安定性に結びつく顕著な失敗モードをCC-AMNが示し、高次元のシンプソクターゲットに対する実用的課題を浮き彫りにしている。