[論文レビュー] Nondeterminism and Instability in Neural Network Optimization

Cecilia Summers, Michael J. Dinneen|arXiv (Cornell University)|Mar 8, 2021

Stochastic Gradient Optimization Techniques参考文献 36被引用数 6

ひとこと要約

この論文は、確率的勾配降下法における最適化の不安定性が、ニューラルネットワークにおけるランダム実行間のばらつきの根本的原因であると特定し、初期重みの10^-11の変化ですら、完全なランダム再初期化と同等の影響を及ぼすことを示している。最適化の不安定性は、追加の訓練コストなしに、加速型アンサンブル学習とテスト時増強を用いることで、ばらつきを低減可能である。本研究は、再現性と信頼性のあるモデル評価のための実用的ソリューションを提供する。

ABSTRACT

Nondeterminism in neural network optimization produces uncertainty in performance, making small improvements difficult to discern from run-to-run variability. While uncertainty can be reduced by training multiple model copies, doing so is time-consuming, costly, and harms reproducibility. In this work, we establish an experimental protocol for understanding the effect of optimization nondeterminism on model diversity, allowing us to isolate the effects of a variety of sources of nondeterminism. Surprisingly, we find that all sources of nondeterminism have similar effects on measures of model diversity. To explain this intriguing fact, we identify the instability of model training, taken as an end-to-end procedure, as the key determinant. We show that even one-bit changes in initial parameters result in models converging to vastly different values. Last, we propose two approaches for reducing the effects of instability on run-to-run variability.

研究の動機と目的

• ニューラルネットワーク学習におけるさまざまな非決定的要因の独立した影響を特定・定量化すること。
• 異なる要因が異なるメカニズムを持つにもかかわらず、同じレベルのモデルばらつきを生じる理由を調査すること。
• 最適化の不安定性（初期重みの微小変化に対する感受性）が、このばらつきの主因であることを同定すること。
• 訓練時間の増加なしに、実用的で低コストの方法でランダム実行間のばらつきを低減する手法を提案・評価すること。

提案手法

• 著者らは、パラメータ初期化、データシャッフル、データ増強、ドロップアウト、非同期学習、cuDNNライブラリのランダムネスといった、非決定的要因を個別に分離する実験プロトコルを設計した。
• 予測相関、アンサンブル化による機能的変化、および最先端の類似度測定法（例：Kornblithら、2019）を用いて、モデルの多様性を複数の指標で測定した。
• 重要な実験的操作として、最小の表現可能な量（約6×10^-11）の重みを1つ変更し、極端な初期化摂動を模擬した。
• 複数のアーキテクチャ（ResNet、VGG、ShuffleNet）とデータセット（CIFAR-10、MNIST、ImageNet）で、これらの摂動の影響を評価した。
• 2つの緩和戦略を提案・検証した：訓練中の早期アンサンブル化（加速型モデルアンサンブル）と、推論時におけるテスト時増強（TTA）の適用。
• すべての実験は、制御された乱数シードと複数回の実行を用い、統計的妥当性を確保した。コードは公開済み。

実験結果

リサーチクエスチョン

• RQ1 初期化、データシャッフル、cuDNNなど、さまざまな非決定的要因が、モデル性能のばらつきに同程度の影響を及えるか？
• RQ2 見た目には異なる非決定的要因が、なぜ同じレベルのモデル多様性を生じるのか？
• RQ3 最適化プロセス自体の不安定性が、要因にかかわらず観察されたばらつきの原因であるのか？
• RQ4 訓練時間や計算コストの増加なしに、モデルばらつきを低減できるか？
• RQ5 加速型アンサンブル学習とテスト時増強は、さまざまなアーキテクチャやデータセットで、どれほどランダム実行間のばらつきを低減できるか？

主な発見

• ランダム初期化、データシャッフル、低レベルのライブラリランダムネスといった、すべての非決定的要因が、ほぼ同等のレベルのモデル多様性と性能ばらつきを生じた。
• 1つの初期重みの1ビット変更（約6×10^-11）が、完全なランダム再初期化と同等のばらつきを最終モデル性能に及ぼした。
• 確率的勾配降下法の不安定性が、このばらつきの主因である。初期パラメータの微小な摂動が、最終的なモデル重みの大きな乖離を引き起こす。
• 加速型モデルアンサンブル学習とテスト時増強の両方とも、すべての指標でモデルばらつきを低減した。特に、ペアワイズ多様性指標と大規模モデルで顕著な効果を示した。
• MNISTでは、テスト時増強のみが有意にばらつきを低減した。これは、モデル容量や過学習が、緩和戦略の有効性に影響を与える可能性を示唆している。
• この発見は、多様なアーキテクチャ（ResNet-6、ResNet-14、VGG-11、ShuffleNet、ResNet-18）とデータセット（CIFAR-10、MNIST、ImageNet）にわたり成り立つことから、不安定性現象の一般性が確認された。