[論文レビュー] Deep Neural Network Training with Frank-Wolfe

Sebastian Pokutta, Christoph Spiegel+1 more|arXiv (Cornell University)|Oct 14, 2020

Stochastic Gradient Optimization Techniques参考文献 44被引用数 4

ひとこと要約

本稿では、重みパラメータに制約を課した深層ニューラルネットワークの学習に、確率的フランク＝ウォルフアルゴリズムを用いることを提案している。投影ステップの代わりに線形最小化オракルを活用することで、高コストな投影計算を回避する。適切な凸可能領域（例：L2ノルム球、L∞ノルム球）を用いることで、フランク＝ウォルフ学習は標準的なSGDを上回り、L2正則化を施したSGDと同等のテスト精度を達成するとともに、モデルのスパarsity（スパース性）や学習された表現の制御が可能であることを示している。

ABSTRACT

This paper studies the empirical efficacy and benefits of using projection-free first-order methods in the form of Conditional Gradients, a.k.a. Frank-Wolfe methods, for training Neural Networks with constrained parameters. We draw comparisons both to current state-of-the-art stochastic Gradient Descent methods as well as across different variants of stochastic Conditional Gradients. In particular, we show the general feasibility of training Neural Networks whose parameters are constrained by a convex feasible region using Frank-Wolfe algorithms and compare different stochastic variants. We then show that, by choosing an appropriate region, one can achieve performance exceeding that of unconstrained stochastic Gradient Descent and matching state-of-the-art results relying on $L^2$-regularization. Lastly, we also demonstrate that, besides impacting performance, the particular choice of constraints can have a drastic impact on the learned representations.

研究の動機と目的

• 制約付きパラメータを用いた深層ニューラルネットワークの学習に、プロジェクションフリーな確率的フランク＝ウォルフ手法の実現可能性と有効性を調査すること。
• 一般化性能および性能の観点から、確率的フランク＝ウォルフの変種を標準的な確率的勾配降下法（SGD）および適応的手法と比較すること。
• 凸可能領域の選択がモデルの一般化性能、スパarsity、および学習された表現に与える影響を検討すること。
• 制約付きフランク＝ウォルフ学習が、L2正則化を施したSGDと同等またはそれを上回る性能を達成できることを示すこと。
• 再現性およびさらなる研究を支援するため、TensorFlowおよびPyTorchにおけるオープンソース実装を提供すること。

提案手法

• 本手法は、モーメンタムを組み込んだ確率的フランク＝ウォルフ（SFW）を採用し、制約付き最適化における投影ステップを線形最小化オラクル（LMO）の呼び出しに置き換える。
• 各イテレーションで、$ v_t = \arg\min_{v \in \mathcal{C}} \langle \tilde{\nabla}L(\theta_t), v \rangle $ を解き、ここで $ \mathcal{C} $ は凸かつコンactな可能領域である。
• パラメータは $ \theta_{t+1} = \theta_t + \alpha (v_t - \theta_t) $ により更新され、凸結合によって妥当性が保証される。
• 特に $ \mathcal{C} $ が構造的（例：L2球、L∞球、Kスパースポリトープ）な場合に、効率的なLMOに依存することで、高コストな投影を回避できる。
• MNIST、CIFAR-10、CIFAR-100、ImageNetにおける全結合層および畳み込み層を備えたネットワークに本手法を適用し、公平な比較が行えるようハイパーパrameterを調整した。
• 実装では、ORGFWおよびSPIDER-FWにインspiredされたモーメンタムおよび分散低減技術を用い、実用的な収束性を向上させた。

実験結果

リサーチクエスチョン

• RQ1 パラメータが凸可能領域に制約された場合、確率的フランク＝ウォルフアルゴリズムが深層ニューラルネットワークの学習に有効に機能するか？
• RQ2 標準的なSGDおよび重み減衰付きSGDと比較して、フランク＝ウォルフ学習の性能はどのように異なるか？
• RQ3 可能領域の選択が、モデルのスパarsityおよび学習された表現の構造にどの程度影響を与えるか？
• RQ4 明示的なL2正則化なしに、フランク＝ウォルフ学習が最先端のテスト精度を達成できるか？
• RQ5 L2、L∞、またはスパースポリトープ用の異なるLMOが、学習ダイナミクスおよび一般化性能に与える影響は何か？

主な発見

• L2ノルム制約付きのフランク＝ウォルフ学習は、CIFAR-10およびImageNetにおいて、標準的なSGDを上回り、L2正則化付きSGDと同等のテスト精度を達成した。
• L∞ノルム球にパラメータを制約した場合、SFWは重み減衰なしの標準的なSGDを上回った。これは、制約自体が正則化効果をもたらしていることを示唆している。
• Kスパースポリトープに制約されたネットワークは、学習中に顕著に少ない有効パラメータ数を示し、可能領域の選択によってスパarsityを誘導できることを示した。
• 学習済み重みの可視化から、L2球やスパースポリトープといった異なる可能領域は、特徴量の活性化パターンが著しく異なる学習済み表現をもたらすことがわかった。
• L2およびL∞ノルム制約において、効率的なLMOのおかげでSFWの実行時間はSGDと同等であり、計算的に実用的であることがわかった。
• 著者らはTensorFlowおよびPyTorchにおけるオープンソース実装を公開し、制約付き深層学習分野における再現性およびさらなる研究を支援した。