[論文レビュー] Revisiting "Qualitatively Characterizing Neural Network Optimization Problems"

Jonathan Frankle|arXiv (Cornell University)|Dec 12, 2020

Advanced Neural Network Applications参考文献 6被引用数 8

ひとこと要約

この論文は、Goodfellowら（2014）の研究を再検討し、現代のディープラーニング環境下で、ネットワークの初期化と訓練済み重みの間の線形補間を再評価している。MNISTでの元の研究とは異なり、CIFAR-10 や ImageNet といった大規模なタスクでは、最適解に近づくまで損失が高く非凸的であり、訓練の初期段階で急峻な障壁が現れる。これは、現代のネットワークが単純で凸に似た損失関数を持つという仮説に反する。

ABSTRACT

We revisit and extend the experiments of Goodfellow et al. (2014), who showed that - for then state-of-the-art networks - "the objective function has a simple, approximately convex shape" along the linear path between initialization and the trained weights. We do not find this to be the case for modern networks on CIFAR-10 and ImageNet. Instead, although loss is roughly monotonically non-increasing along this path, it remains high until close to the optimum. In addition, training quickly becomes linearly separated from the optimum by loss barriers. We conclude that, although Goodfellow et al.'s findings describe the "relatively easy to optimize" MNIST setting, behavior is qualitatively different in modern settings.

研究の動機と目的

• Goodfellow ら（2014）のニューラルネットワークの損失関数の形状に関する定性的な分析を、現代のディープラーニング環境に再解釈・拡張すること。
• 初期化と訓練済み重みの間の線形経路に沿った損失の近似的な凸性が、MNIST から現代のアーキテクチャーやデータセットへ一般化されるかどうかを調査すること。
• 初期の研究で観察された、最適化の単純さが現代のネットワークの根本的特性であるのか、それとも MNIST の設定に特有のものであるのかを評価すること。
• 初期化からの補間に加え、中間の訓練ステップからの補間において、障壁や非単調な挙動の観点から損失関数の形状がどのように変化するかを検討すること。

提案手法

• 訓練の開始時（イテレーション 0）の重みと最終的な訓練済み重みの間を100個の等間隔な点で線形補間する。
• 異なる乱数シードを用いた複数の反復実験を通じて、テスト損失と誤差を経路全体で評価し、統計的妥当性を確保する。
• 初期化からの補間に加え、中間の訓練ステップ（例：t = 16, 256, 1000）から最終重みへの補間を拡張し、時間経過に伴う損失関数形状の変化を評価する。
• CIFAR-10 に適用する ResNet-20 および VGG-16、ImageNet に適用する ResNet-50 を用い、OpenLTH からのデフォルトのハイパーパramータとデータ拡張を採用する。
• 各補間経路における損失と誤差の最大上昇を測定し、障壁の存在を検出する。
• 計算上の制約により、ImageNet の全訓練セットを用いることは不可能であるため、テストセットのパフォーマンスに焦点を当てる。

実験結果

リサーチクエスチョン

• RQ1 Goodfellow ら（2014）が MNIST で観察した、近似的に凸的で単調に減少する損失の挙動が、CIFAR-10 や ImageNet で学習された現代のネットワークにも一般化されるか？
• RQ2 初期化ではなく、中間の訓練ステップからの補間では、損失関数の形状はどのように変化するか？
• RQ3 訓練のどの段階で、現在のネットワーク状態と最終的な訓練済み重みの間の損失障壁が最初に現れるか？
• RQ4 初期化付近での損失関数の単純さは、一般の性質であるのか、それとも未訓練ネットワークの性能が低いことに起因する特異な性質なのか？

主な発見

• MNIST では、Goodfellow ら（2014）の元の発見が確認された：初期化から最終重みへの線形経路上で損失は滑らかに単調に減少し、顕著な障壁は観察されなかった。
• CIFAR-10 における VGG-16 および ResNet-20 では、初期化から最終重みへの経路上で損失は大部分で高くほぼ一定であり、最終的に急激に減少するため、近似的な凸性が欠如していることが示された。
• ImageNet における ResNet-50 では、最終重みに非常に近づくまで経路上で損失に顕著な減少がなく、経路が最適化に有用でないことが示唆された。
• すべての大規模な設定において、VGG-16 と ResNet-20 ではイテレーション 16 で、ResNet-50 ではイテレーション 256 で損失障壁が早期に出現した。これは、最適解が訓練開始後すぐに線形的に到達不能になることを示している。
• VGG-16 では約 8,000 イテレーション後、ResNet-20 では約 2,000 イテレーション後、ResNet-50 では約 50,000 イテレーション後に障壁が消失した。これは、最適解が訓練後期に再び線形的に到達可能になることを示している。
• これらの結果は、Goodfellow ら（2014）で観察された挙動が MNIST の設定に特有であり、現代の大規模なディープラーニングタスクに一般化されないことを示している。