[論文レビュー] Tilting the playing field: Dynamical loss functions for machine learning

Miguel Ruíz-García, Ge Zhang+2 more|arXiv (Cornell University)|Feb 7, 2021

Neural Networks and Applications参考文献 1被引用数 6

ひとこと要約

本論文は、訓練中に異なるクラスを周期的に強調する動的損失関数を提案し、パラメータ数が少ない（underparameterized）および多すぎる（overparameterized）ニューラルネットワークの両方における学習を改善することを目的としている。損失関数の変化によって損失の地形が変化し、分岐カスケードや谷の拡大・収縮が生じ、ネットワークが悪い極小値から脱出し、平坦で一般化性能の高い解に収束できるようになる。これは、標準的な交差エントロピー損失が失敗する状況でも成立する。

ABSTRACT

We show that learning can be improved by using loss functions that evolve cyclically during training to emphasize one class at a time. In underparameterized networks, such dynamical loss functions can lead to successful training for networks that fail to find a deep minima of the standard cross-entropy loss. In overparameterized networks, dynamical loss functions can lead to better generalization. Improvement arises from the interplay of the changing loss landscape with the dynamics of the system as it evolves to minimize the loss. In particular, as the loss function oscillates, instabilities develop in the form of bifurcation cascades, which we study using the Hessian and Neural Tangent Kernel. Valleys in the landscape widen and deepen, and then narrow and rise as the loss landscape changes during a cycle. As the landscape narrows, the learning rate becomes too large and the network becomes unstable and bounces around the valley. This process ultimately pushes the system into deeper and wider regions of the loss landscape and is characterized by decreasing eigenvalues of the Hessian. This results in better regularized models with improved generalization performance.

研究の動機と目的

• 訓練中に損失関数を動的に変化させることで、静的損失関数を超える学習改善が可能かどうかを調査すること。
• サイクリックな損失関数が、パラメータ数が少ないおよび多すぎるネットワークにおける一般化性能を向上させるメカニズムを理解すること。
• 損失地形の曲率、ヘッセ固有値、ニューラル接線カーネルが、改善された最適化ダイナミクスを促進する役割を明らかにすること。
• クラス重みのサイクリングによるタスク切り替えが、性能向上を図りながらも、Catastrophic Forgetting（途切れ的忘却）を回避するかどうかを検証すること。
• 損失地形の進化と最適化ダイナミクスの相乗作用、特に谷の収縮とバウンシング行動の発生メカニズムを分析すること。

提案手法

• 訓練エポックにわたってクラスごとに順次強調が変化する時間依存的かつ周期的な重み付け方式を損失関数に導入する。
• 正弦波による変調を用いてクラス重みを時間的に変化させ、周期的に入れ替わる損失地形を生成する。
• ヘッセ行列とニューラル接線カーネルを用いて損失地形を分析し、訓練中に生じる曲率の変化や分岐カスケードを調査する。
• 訓練サイクル中に不安定性や谷の遷移を特定するために、最大のヘッセ固有値の変化を追跡する。
• 合成データ（スパイラルデータセット）と実世界のベンチマーク（Myrtleネットワークを用いたCIFAR-10）の両方でモデルを訓練し、性能向上を検証する。
• 異なるネットワークパラメータ化の範囲で、静的交差エントロピー損失と動的損失関数の両方における訓練精度とテスト精度を比較する。

実験結果

リサーチクエスチョン

• RQ1 標準的な交差エントロピー損失で収束しないパラメータ数が少ないネットワークにおいて、動的に変化する損失関数が訓練精度の向上をもたらすか。
• RQ2 クラス重みのサイクリックな変化が損失地形の幾何構造と最適化ダイナミクスに与える影響は何か。
• RQ3 分岐カスケードとヘッセ固有値の進化が、より広く平坦な極小値への到達を可能にする役割は何か。
• RQ4 パラメータ数が多すぎて静的損失関数で訓練精度が100％に達する状況でも、サイクリックなクラス強調が一般化性能の向上に寄与するか。
• RQ5 動的損失関数が性能向上を図る一方で、途切れ的忘却をどの程度回避できるか。

主な発見

• パラメータ数が少ないネットワークでは、同じハイパーパrameterを用いても、標準的な交差エントロピー損失が失敗する状況でも、動的損失関数により正常な学習が可能になる。
• パラメータ数が多すぎるネットワークでは、静的損失関数で訓練精度が100％に達しても、テスト精度が向上しており、一般化性能の向上が確認された。
• 訓練の進行に伴い、最大のヘッセ固有値が減少し、平坦で正則化された極小値への移行を示している。
• 初期のサイクルでは損失の谷が広がり、深くなるが、その後収縮し、上昇するようになり、ネットワークが浅い極小値からバウンスして脱出する。
• クラス重みの最適な振幅（A ≈ 30）が性能を最大化し、それ以上の振幅では途切れ的忘却の影響により性能が低下する。
• 本手法は、安定性を避けるのではなく、急速な損失地形の変化に起因する不安定性を活用することで、一般化性能を向上させている。これは、従来の訓練安定性に関する直感とは対照的である。