[論文レビュー] Projection-Free Adaptive Gradients for Large-Scale Optimization

Cyrille W. Combettes, Christoph Spiegel+1 more|arXiv (Cornell University)|Sep 29, 2020

Stochastic Gradient Optimization Techniques参考文献 37被引用数 5

ひとこと要約

本稿では、大規模な制約付き最適化のための射影フリーな適応的勾配法AdaSFWを提案する。この手法は、非ユークリッド射影部分問題を固定回数のFrank-Wolfe反復によって解くことで、確率的Frank-Wolfeアルゴリズムに適応的ステップサイズを統合する。ニューラルネットワーク学習タスクにおいて、特に非凸設定下で、最先端の確率的Frank-Wolfe法および適応的勾配法よりも高速な収束速度と優れたテスト精度を達成する。

ABSTRACT

The complexity in large-scale optimization can lie in both handling the objective function and handling the constraint set. In this respect, stochastic Frank-Wolfe algorithms occupy a unique position as they alleviate both computational burdens, by querying only approximate first-order information from the objective and by maintaining feasibility of the iterates without using projections. In this paper, we improve the quality of their first-order information by blending in adaptive gradients. We derive convergence rates and demonstrate the computational advantage of our method over the state-of-the-art stochastic Frank-Wolfe algorithms on both convex and nonconvex objectives. The experiments further show that our method can improve the performance of adaptive gradient algorithms for constrained optimization.

研究の動機と目的

• 大規模な制約付き最適化における射影ベースの適応的勾配法の計算非効率性を解消すること。
• 歴史的な一次情報に基づく適応的勾配を組み込むことで、確率的Frank-Wolfeアルゴリズムの一次情報の質を向上させること。
• 高価な射影を必要とせず、適応的ステップサイズを活用する射影フリーなフレームワークを構築すること。
• 提案手法が、既存の確率的Frank-Wolfe法および適応的勾配アルゴリズムと比較して、計算的利点および収束特性に優れていることを示すこと。
• 特に制約付き層を含む深層学習設定下での凸および非凸目的関数の両方において、手法を評価すること。

提案手法

• 適応的勾配法における正確な非ユークリッド射影を、部分問題を近似的に解くために固定回数KのFrank-Wolfe反復に置き換える。
• AdamやAdaGradと同様の、履歴的一次情報に基づく適応的ステップサイズを採用するが、射影フリーな設定に適用する。
• SFW、SVRF、STORC、CSFWなど、さまざまな確率的Frank-Wolfe変種に適用可能な汎用的なテンプレートを提案する。
• 制約集合上の線形最小化オракルにのみ依存し、射影を一切行わず、反復の妥当性を維持する。
• AdamおよびAMSGradにインspiredされたモーメンタムを強化した変種、AdamSFWを導入し、収束性をさらに向上させる。
• 学習全体を通じて一定のバッチサイズを維持し、時間経過に伴うバッチサイズのスケーリングを回避する。

実験結果

リサーチクエスチョン

• RQ1 適応的勾配が、射影フリーな確率的Frank-Wolfeアルゴリズムに効果的に統合可能か？ これにより収束性と性能が向上するか？
• RQ2 適応的勾配部分問題を少数のFrank-Wolfe反復で解くことで、収束保証が維持されつつ計算コストが削減されるか？
• RQ3 提案手法は、ニューラルネットワークにおける学習およびテスト性能の観点から、最先端の確率的Frank-Wolfe法および適応的勾配アルゴリズムと比較してどのように差をつけるか？
• RQ4 本手法は、特に制約付き層を含む深層学習における非凸最適化において、ヴァニラSFWの性能を向上させられるか？
• RQ5 射影が高価な複雑な制約集合では、本手法の計算的利点が顕著に現れるか？

主な発見

• IMDBセンチメント分析タスクにおいて、AdaSFWはすべてのベースライン（AdamSFWやAdaGradを含む）よりも高速に収束し、最高のテスト精度を達成した。
• CIFAR-10画像分類タスクでは、AdaSFWとAdamSFWが他のすべての射影フリー手法を上回り、特にAdaSFWが最も優れた性能を示した。
• IMDBおよびCIFAR-10の両タスクにおいて、ヴァニラSFWが、SVRF、SPIDER-FW、ORGFWといった分散低減型の変種を上回るテスト精度を達成した。これは、深層学習において分散低減が一般化性能を必ずしも向上させない可能性を示唆している。
• AdaSFWは、凸および非凸設定の両方において、ヴァニラSFWの性能を向上させ、制約付き深層学習における有効性を実証した。
• バッチサイズを一定に保つことで計算効率を維持し、SVRFやSTORCとは異なりバッチサイズの増大を回避した。
• 結果から、射影が高価な複雑な制約集合において、適応的勾配を射影フリー最適化に効果的に活用できることが示された。