[論文レビュー] Deep Frank-Wolfe For Neural Network Optimization

Leonard Berrada, Andrew Zisserman+1 more|arXiv (Cornell University)|Nov 19, 2018

Stochastic Gradient Optimization Techniques参考文献 54被引用数 16

ひとこと要約

本稿では、深層ニューラルネットワーク向けの最適化アルゴリズムであるDeep Frank-Wolfe（DFW）を提案する。DFWは、ニューラルネットワークの合成構造を活用し、閉形式の最適ステップサイズを用いたFrank-Wolfe法を適用することで、手動で設計された学習率スケジュールを用いたSGDと同等の汎化性能を達成するとともに、収束が早く、ハイパーパrameterが1つだけ必要な点が特徴である。

ABSTRACT

Learning a deep neural network requires solving a challenging optimization problem: it is a high-dimensional, non-convex and non-smooth minimization problem with a large number of terms. The current practice in neural network optimization is to rely on the stochastic gradient descent (SGD) algorithm or its adaptive variants. However, SGD requires a hand-designed schedule for the learning rate. In addition, its adaptive variants tend to produce solutions that generalize less well on unseen data than SGD with a hand-designed schedule. We present an optimization method that offers empirically the best of both worlds: our algorithm yields good generalization performance while requiring only one hyper-parameter. Our approach is based on a composite proximal framework, which exploits the compositional nature of deep neural networks and can leverage powerful convex optimization algorithms by design. Specifically, we employ the Frank-Wolfe (FW) algorithm for SVM, which computes an optimal step-size in closed-form at each time-step. We further show that the descent direction is given by a simple backward pass in the network, yielding the same computational cost per iteration as SGD. We present experiments on the CIFAR and SNLI data sets, where we demonstrate the significant superiority of our method over Adam, Adagrad, as well as the recently proposed BPGrad and AMSGrad. Furthermore, we compare our algorithm to SGD with a hand-designed learning rate schedule, and show that it provides similar generalization while converging faster. The code is publicly available at https://github.com/oval-group/dfw.

研究の動機と目的

• 深層ニューラルネットワークにおけるSGDの手動で設計された学習率スケジュールの必要性という課題に対処すること。
• 適応的最適化手法（例：Adam）と手動スケジュール付きSGDとの間の汎化ギャップを克服すること。
• 計算効率をSGDと同等に保ちつつ、収束性と汎化性能を向上させる手法を開発すること。
• 深層ネットワークの構成的性質を活用し、Frank-Wolfeによる効率的な凸最適化を可能にすること。
• SVMベースの目的関数における学習の安定化を図るためのスムージング手法とNesterovモーメンタムの導入。

提案手法

• 深層学習の最適化問題を、ニューラルネットワークを内側関数とし、損失関数を外側関数とする複合（ネストされた）最適化問題として定式化する。
• 各反復において、内側関数（ニューラルネットワーク）を線形化し、プロキシマルな部分問題を形成するが、外側の損失関数は正確に保持する。
• 損失関数がヒンジ損失の場合、各部分問題は線形SVMに帰着し、Frank-Wolfeアルゴリズムの適用が可能になる。
• Frank-Wolfeの双対定式化を用いて最適ステップサイズを閉形式で計算することで、学習率スケジュールの必要性を排除する。
• 深層ネットワーク学習における数値的不安定性を軽減するため、SVMの双対問題に対するスムージング技術を導入する。
• DFWフレームワークにNesterovモーメンタムを統合し、計算コストを増加させることなく収束速度を向上させる。

実験結果

リサーチクエスチョン

• RQ1 第一順序最適化手法が、手動で設計された学習率スケジュールを用いたSGDと同等の汎化性能を達成できるか？
• RQ2 ニューラルネットワークの複合構造を活用することで、Frank-Wolfeアルゴリズムを深層学習に適応できるか？
• RQ3 Frank-Wolfeを用いて最適ステップサイズを閉形式で計算することで、収束が速くなり、ハイパーパrameterへの感受性が低下するか？
• RQ4 スムージング技術により、深層ネットワークにおけるSVMの双対最適化が安定化するか？
• RQ5 Nesterovモーメンタムの統合により、一般化性能を損なわず収束速度が向上するか？

主な発見

• DFWは、CIFAR-10およびCIFAR-100において、手動で設計された学習率スケジュール付きSGDと同等のテスト精度を達成し、ワイド残差ネットワークおよび密度結合ネットワークにおいて最先端の性能を示した。
• Bi-LSTMを用いたSNLIデータセットにおいて、DFWは85.21％の検証精度を達成し、Adam（84.83％）、AMSGrad（84.70％）、BPGrad（84.73％）を上回った。
• CIFARの全実験において、DFWはAdam、Adagrad、AMSGradよりも顕著に高速に収束し、収束曲線がより速くかつ安定した改善を示した。
• アルゴリズムはハイパーパrameterを1つ（初期学習率）のみ必要とし、感度解析の結果、広い範囲の値で安定した性能を示した。
• SVMの双対問題をスムージングすることで、特に深層アーキテクチャにおいて訓練の安定性と一般化性能が向上した。
• Nesterovモーメンタムの統合により収束速度が向上し、一般化性能に悪影響を与えることなく、SGDと同等の反復あたりの計算コストを維持した。