[論文レビュー] On the distance between two neural networks and the stability of learning

Jeremy Bernstein, Arash Vahdat+2 more|arXiv (Cornell University)|Feb 9, 2020

Neural Networks and Applications参考文献 51被引用数 13

ひとこと要約

本稿では、構成的構造を捉えることで、ResNets、GAN、トランスフォーマーを含む多様なアーキテクチャにおいて学習率のチューニングが不要となる新しい最適化アルゴリズム「Fromage」を導入する、深層相対信頼性というニューラルネットワーク向けの新規な距離尺度を提案する。固定学習率0.01で最先端の訓練性能を達成する。

ABSTRACT

This paper relates parameter distance to gradient breakdown for a broad class of nonlinear compositional functions. The analysis leads to a new distance function called deep relative trust and a descent lemma for neural networks. Since the resulting learning rule seems to require little to no learning rate tuning, it may unlock a simpler workflow for training deeper and more complex neural networks. The Python code used in this paper is here: https://github.com/jxbz/fromage.

研究の動機と目的

• 深層学習において長年にわたり大きな障壁となっている学習率チューニングの課題に取り組む。
• 勾配降下法における2次的信頼領域の限界を克服し、深層ニューラルネットワークの構成的性質を正しくモデル化できない問題を解決する。
• パラメータ摂動下でのニューラルネットワークの関数的挙動を反映する理論的根拠に基づいた距離尺度を開発する。
• 新しい距離尺度を用いて深層ネットワークに特化した降下補題を導出し、実用的な最適化アルゴリズムを導く。
• 学習率ハイパーパrameterのチューニングなしに、多様なアーキテクチャで高い性能を維持する最適化アルゴリズムを設計する。

提案手法

• ネットワーク関数とそのヤコビ行列の摂動を分析することで、ニューラルネットワークパラメータ間の距離尺度として深層相対信頼性を導出する。
• ネットワークのパラメータ軌道に基本定理を適用し、深層相対信頼性を用いて損失の減少を束縛する。
• 標準的な勾配降下法における2次ペナルティを深層相対信頼性に置き換える降下補題を定式化し、安定的かつ効果的な更新を保証する。
• Fromage（Frobeniusマッチド勾配降下）という学習ルールを提案し、学習率がパラメータ更新の相対的サイズを原理的かつ一貫して制御する。
• 特に深層または複雑なアーキテクチャにおいて安定化を図るため、層のパラメータノルムに正規化制約を統合する。
• CIFAR-10、ImageNet、GAN、トランスフォーマーを含む標準ベンチマークでFromageを実装・評価し、すべてのタスクで固定学習率を適用する。

実験結果

リサーチクエスチョン

• RQ1 深層ニューラルネットワークの構成的構造を捉える距離尺度は、より安定的かつ原理的根拠に基づいた最適化ルールをもたらすか？
• RQ2 学習率フリーの最適化アルゴリズムは、多様な深層学習アーキテクチャにどの程度効果を発揮できるか？
• RQ3 非線形的で深層的なネットワークにおいて、深層相対信頼性は従来の2次的信頼領域と比べて、パラメータ更新のモデル化にどの程度優れているか？
• RQ4 Fromageは、学習率チューニングなしに、現代のベンチマークでSGD や Adam よりも優れた性能を発揮するか？
• RQ5 スキップ接続のようなアーキテクチャ的要素は、深層相対信頼性尺度およびその結果生じる最適化ダイナミクスにどのような影響を与えるか？

主な発見

• CIFAR-10、ImageNet、GAN、トランスフォーマーの4つのベンチマークすべてにおいて、固定学習率0.01でFromageはSGD や Adam よりも顕著に低い訓練損失を達成した。
• CIFAR-10では、Fromageの訓練損失は(2.5±0.5)×10⁻⁵であり、SGDの(1.5±0.2)×10⁻⁴とAdamの(6±3)×10⁻⁵を上回った。
• ImageNetでは、Fromageの訓練損失は2.001±0.001であり、最良のベースラインと同等の性能を示したが、すべてのタスクで同じ学習率を用いた。
• GANでは、FIDがベースラインの34±2から16±1に低下し、学習率チューニングなしに優れた生成性能を示した。
• トランスフォーマーのベンチマークでは、Fromageは perplexity を66.1±0.1に低下させたが、SGDは150.0±0.3、Adamは36.8±0.1であった。学習率の調整なしに実現した。
• 特にトランスフォーマーや GAN のような複雑なアーキテクチャにおいても、本手法は安定的かつ効果的であり、単純な多層パーセプトロンをはるかに超える広範な適用可能性を示唆している。