[論文レビュー] Diagonal Rescaling For Neural Networks

Jean Lafond, Nicolas Vasilache+1 more|arXiv (Cornell University)|May 25, 2017

Stochastic Gradient Optimization Techniques参考文献 10被引用数 6

ひとこと要約

この論文は、再パrametrizationによるユニット活性の正規化を通じて、ニューラルネットワークにおける確率的勾配降下法の対角スケーリング手法を提案する。これにより、効率的な2次最適化が可能になる。本研究は2つの重要な知見を明らかにする：RMSPropおよびファンインステップサイズスケーリングの原理的説明、および訓練不安定性における曲率の急激な変化の重要性。これにより、バッチ正規化がなぜ機能するのか、および標準的な2次最適化手法が適応的曲率推定なしではなぜ失敗するのかも説明できる。

ABSTRACT

We define a second-order neural network stochastic gradient training algorithm whose block-diagonal structure effectively amounts to normalizing the unit activations. Investigating why this algorithm lacks in robustness then reveals two interesting insights. The first insight suggests a new way to scale the stepsizes, clarifying popular algorithms such as RMSProp as well as old neural network tricks such as fanin stepsize scaling. The second insight stresses the practical importance of dealing with fast changes of the curvature of the cost.

研究の動機と目的

• ブロック対角的曲率近似を用いて、ニューラルネットワークにおける2次最適化アルゴリズムを、計算オーバーヘッドをゼロに保つように開発すること。
• 提案されたアルゴリズムが理論的には優れているにもかかわらず、実際の訓練でロバスト性に欠ける理由を調査すること。
• RMSProp やファンインステップサイズスケーリングといった一般的な最適化手法における適応的ステップサイズスケーリングの役割を明確にすること。
• 急速に変化する曲率が2次最適化に与える影響と、バッチ正規化に与えるインパクトを理解すること。
• 曲率と正規化の観点から、深層学習最適化手法を統一的に理解すること。

提案手法

• 全結合層をスケールパラメータ αi, μi, βj を用いて再パラメータ化し、活性を正規化するとともに、重み更新と入力統計の分離を実現する。
• βj²gj と αi²(xi−μi) を用いて重み更新ルールを導出し、1層あたり O(n+m) のオーバーヘッドで効率的な計算を可能にする。
• 逆ヘッセ行列のブロック対角的近似を適用して、局所的曲率に基づいてステップサイズをスケーリングし、収束速度を向上させる。
• 走査平均を用いて曲率を推定するが、曲率が急激に変化する場合には失敗することが示される。
• 曲率を現在のミニバッチ上で評価する（バッチ正規化と同様）ことで、急速な曲率シフトに起因する不安定性を軽減する。
• 統計が不適切に推定された場合に、再パラメータ化にフィードバックループを導入することで、訓練が不安定化する可能性がある。

実験結果

リサーチクエスチョン

• RQ1 理論的には妥当な2次最適化ステップサイズアルゴリズムが、なぜ実際の訓練では収束が不安定になるのか？
• RQ2 対角スケーリングが、ニューラルネットワーク訓練におけるRMSPropおよびファンインステップサイズスケーリングの挙動をどのように明確にするのか？
• RQ3 曲率推定が古くなった場合に、なぜ2次最適化で急激な発散が生じるのか？
• RQ4 なぜバッチ正規化は、固定された曲率近似よりも訓練の安定性を向上させるのか？
• RQ5 現在のミニバッチ上で適応的曲率推定を実施することで、2次最適化の不安定性を防げるのか？

主な発見

• 提案された対角スケーリングアルゴリズムは、小規模なデータセットでは良好に動作するが、大規模なImageNetでは、急速に変化する曲率に起因する不安定性により失敗する。
• 不安定性は、固定された活性統計の走査平均が古くなり、誤った再パラメータ化を引き起こし、ReLUユニットが無効化されることに起因する。
• 曲率がゆっくり変化すると仮定する2次最適化手法は、損失関数の双曲的多様体（一定の損失）を持つ場合に失敗する。この場合、微小な数値ノイズが大きな重み更新を引き起こす。
• アルゴリズムの発散は、特に大きなステップサイズ下で、重みスケーリング不変性により曲率が急速に変化するためであると特定された。
• 現在のミニバッチ上で曲率を評価すること（バッチ正規化と同様）が、安定性と性能の両面で顕著に向上する。
• これらの知見により、RMSProp、ファンインスケーリング、バッチ正規化が、適応的ステップサイズスケーリングと曲率推定の統一的枠組みの下で統合される。