[論文レビュー] A Linearly Convergent Conditional Gradient Algorithm with Applications to Online and Stochastic Optimization

Dan Garber, Elad Hazan|arXiv (Cornell University)|Jan 20, 2013

Advanced Bandit Algorithms Research参考文献 34被引用数 63

ひとこと要約

本稿では、多面体集合上での滑らかで強く凸な最適化に対して、1反復あたり1回の線形最適化オラクル呼び出しでのみ、線形収束を達成する新しい条件付き勾配法を提案する。これは、従来の手法と比べて指数的改善をもたらす。このアルゴリズムにより、1ラウンドあたり1回の線形オラクル呼び出しで最適なレジーットバウンドを達成するオンライン凸最適化が可能となり、分野における未解決問題を解決する。

ABSTRACT

Linear optimization is many times algorithmically simpler than non-linear convex optimization. Linear optimization over matroid polytopes, matching polytopes and path polytopes are example of problems for which we have simple and efficient combinatorial algorithms, but whose non-linear convex counterpart is harder and admits significantly less efficient algorithms. This motivates the computational model of convex optimization, including the offline, online and stochastic settings, using a linear optimization oracle. In this computational model we give several new results that improve over the previous state-of-the-art. Our main result is a novel conditional gradient algorithm for smooth and strongly convex optimization over polyhedral sets that performs only a single linear optimization step over the domain on each iteration and enjoys a linear convergence rate. This gives an exponential improvement in convergence rate over previous results. Based on this new conditional gradient algorithm we give the first algorithms for online convex optimization over polyhedral sets that perform only a single linear optimization step over the domain while having optimal regret guarantees, answering an open question of Kalai and Vempala, and Hazan and Kale. Our online algorithms also imply conditional gradient algorithms for non-smooth and stochastic convex optimization with the same convergence rates as projected (sub)gradient methods.

研究の動機と目的

• 多面体集合上での滑らかで強く凸な最適化に対して、最小限の線形最適化オラクル呼び出しで線形収束を達成する条件付き勾配法の開発。
• 1ラウンドあたり1回の線形最適化ステップでのみ、多面体上でのオンライン凸最適化において最適なレジーットを達成するという、未解決の問題の解決。
• 滑らかでないおよび確率的凸最適化設定への新しいアルゴリズムの拡張。プロジェクトド（部分）勾配法と同等の収束レートを維持しながら、射影を線形オラクル呼び出しに置き換える。
• 条件付き勾配に類似する手法のオラクル複雑度に対する理論的下界を確立し、提案手法の性能が対数要因を除いてほぼ最適であることを示す。

提案手法

• 1反復あたり1回の線形最適化オラクル呼び出しでのみ、多面体集合上での滑らかで強く凸な目的関数に対して線形収束を達成する新しい条件付き勾配法を提案。
• 目的関数の十分な減少を保証するとともに、妥当性と収束保証を維持するための新規なラインサーチと更新則を導入。
• 多面体集合の構造を活用し、線形最適化によって得られる頂点の凸結合を用いて、アルゴリズムの反復が常に実行可能領域内に留まることを保証。
• オンライン凸最適化への応用として、確率的オンラインバージョンを構築し、最適な $ ilde{O}( ext{poly}(D, G) ho ext{poly}(T))$ のオーダーに達するレジーットバウンドを維持。
• 滑らかでないおよび確率的設定への拡張として、滑らか化とサンプリング技術を組み合わせたフレームワークを導入し、収束レートを保持。
• 確率的単形に基づく下界の議論を用いて、$rac{1}{4n}$-精度を達成するための線形オラクル呼び出し回数が $ ilde{ heta}(n)$ であることを示し、提案手法の近似的最適性を証明。

実験結果

リサーチクエスチョン

• RQ1 多面体上での滑らかで強く凸な最適化に対して、1反復あたり1回の線形最適化オラクル呼び出しでのみ線形収束を達成できる条件付き勾配法は存在するか？
• RQ2 多面体ドメインに対して、1ラウンドあたり1回の線形最適化ステップでのみ最適なレジーットを達成するオンライン条件付き勾配法は設計可能か？
• RQ3 提案されたアルゴリズムは、滑らかでないおよび確率的凸最適化設定に拡張可能であり、プロジェクトド（部分）勾配法と同等の収束レートを達成できるか？
• RQ4 多面体上での滑らかで強く凸な問題に対して、条件付き勾配に類する手法のオラクル複雑度はどの程度タイトか？

主な発見

• 提案されたアルゴリズムは、多面体上での滑らかで強く凸な最適化に対して、$e^{- ilde{ heta}(t)}$ の線形収束を達成し、従来の $t^{-1}$ のレートと比べて指数的改善を実現。
• 凸損失関数を伴うオンライン凸最適化において、$ ilde{O}( ho ext{poly}(T))$ のオーダーで最適なレジーットを達成。プロジェクトド勾配法の $ ilde{O}( ho ext{poly}(T))$ バウンドと一致。
• 強い凸損失関数を伴うオンライン最適化において、$ ilde{O}( ext{poly}( ho) ext{poly}( ext{log} T))$ のオーダーでレジーットを達成。既知の最良のバウンドと一致。
• 単形上での $ heta$-精度を達成するため、$O(n ext{log}(1/ heta))$ 回の線形オラクル呼び出しが必要であり、$ ilde{ heta}(n)$ の下界と対数要因を除いて一致。
• 滑らかでないおよび確率的設定において、プロジェクトド（部分）勾配法と同等の収束レートを達成するが、高価な射影を効率的な線形最適化ステップに置き換える。