[論文レビュー] Proximal Backpropagation

Thomas Frerix, Thomas Möllenhoff+2 more|arXiv (Cornell University)|Jun 14, 2017

Stochastic Gradient Optimization Techniques参考文献 16被引用数 9

ひとこと要約

この論文では、勾配の明示的ステップを、最適化の安定性と収束性を向上させるために、暗黙的（近接）ステップに置き換える新しい学習アルゴリズム、Proximal Backpropagation (ProxProp) を紹介する。バックプロパゲーションを、ネットワーク活性化を結合する二次ペナルティエネルギー上の逐次最小化として再解釈することで、近似解に対しても降下方向を保証し、多様なステップサイズにおいて安定した学習を可能にし、特にAdamと組み合わせた場合、汎化性能と損失収束性において標準的なバックプロパゲーションを上回る。

ABSTRACT

We propose proximal backpropagation (ProxProp) as a novel algorithm that takes implicit instead of explicit gradient steps to update the network parameters during neural network training. Our algorithm is motivated by the step size limitation of explicit gradient descent, which poses an impediment for optimization. ProxProp is developed from a general point of view on the backpropagation algorithm, currently the most common technique to train neural networks via stochastic gradient descent and variants thereof. Specifically, we show that backpropagation of a prediction error is equivalent to sequential gradient descent steps on a quadratic penalty energy, which comprises the network activations as variables of the optimization. We further analyze theoretical properties of ProxProp and in particular prove that the algorithm yields a descent direction in parameter space and can therefore be combined with a wide variety of convergent algorithms. Finally, we devise an efficient numerical implementation that integrates well with popular deep learning frameworks. We conclude by demonstrating promising numerical results and show that ProxProp can be effectively combined with common first order optimizers such as Adam.

研究の動機と目的

• 深層学習の最適化における標準的なバックプロパゲーションの不安定性とステップサイズへの感受性を解消すること。
• 制約付き最適化の視点からバックプロパゲーションを再解釈することで、より頑健な学習アルゴリズムを開発すること。
• 暗黙的勾配ステップ（近接更新）がパラメータ空間で降下方向を提供することを証明し、弱い仮定のもとで収束を保証すること。
• 行列非依存の共役勾配近似を用いて、効率的かつフレームワーク互換性のある実装を設計すること。
• 標準的なバックプロパゲーションと比較して、学習安定性、収束速度、汎化性能の面でProxPropの優位性を実証的に検証すること。

提案手法

• バックプロパゲーションを、ネットワーク活性化を含む二次ペナルティエネルギー上の逐次勾配降下法として再定式化し、順方向伝搬と交互に実行する。
• パラメータの明示的勾配更新を、正則化された二次近似を最小化する近接作用素によって定義される暗黙的（近接）更新に置き換える。
• 行列非依存の共役勾配（CG）反復を用いて、暗黙的ステップを効率的に近似し、深層学習フレームワーク内の既存の順方向および逆方向演算を再利用する。
• 正確なステップとCG近似ステップの両方が、パラメータ空間で降下方向を提供することを証明し、収束性を保証する一次順最適化法との統合を可能にする。
• Adamなどの標準的な最適化法に統合するため、勾配計算ステップを置き換える、微分可能オракルとしてProxPropを実装する。
• ステップサイズを制御するペナルティパラメータ τ を採用し、広範な τ 値の範囲で安定性が確認された。

実験結果

リサーチクエスチョン

• RQ1 バックプロパゲーションは、ネットワーク活性化を含む二次ペナルティエネルギー上の逐次最小化として再解釈可能か？
• RQ2 バックプロパゲーションにおける明示的勾配ステップを暗黙的（近接）ステップに置き換えることで、パラメータ空間で降下方向が得られるか？
• RQ3 近接ステップの行列非依存共役勾配近似は、降下性と収束保証を保持できるか？
• RQ4 特に大きなまたは悪条件なステップサイズを用いた場合、ProxPropは標準的なバックプロパゲーションに比べて学習安定性と汎化性能を向上させるか？
• RQ5 ProxPropは、Adamのような一次順最適化法と効果的に組み合わせられ、収束速度の加速とテスト精度の向上を実現できるか？

主な発見

• ProxProp は広範なステップサイズ τ に対して安定性を維持し、τ = 5×10⁻⁴ でさえも発散を示さなかった。一方、標準的なバックプロパゲーションは τ = 0.05 で発散した。
• Adam と組み合わせた場合、ProxProp（3回のCG反復）はCIFAR-10で50エポック後に72.9%の検証精度を達成したのに対し、標準的なバックプロパゲーションは71.7%にとどまった。
• 50エポック後、ProxPropのテストセット精度は70.7%であったのに対し、標準的なバックプロパゲーションは69.6%であった。これは、汎化性能の向上を示している。
• 図3に示すように、エポックベースおよび時間ベースの訓練曲線において、ProxProp（3回のCG反復）は、フルバッチ損失を標準的なバックプロパゲーションよりも速やかに低下させた。
• 理論的に証明され、数値的に検証されたように、CG近似は降下性を保持しており、効率的な実装を可能にしている。
• ProxProp は大きなステップサイズでも安定した学習を可能にするため、SGD や Adam で一般的に必要な学習率の慎重なチューニングの必要性を軽減できる可能性がある。