[論文レビュー] Lazifying Conditional Gradient Algorithms

Gábor Braun, Sebastian Pokutta+1 more|arXiv (Cornell University)|Oct 17, 2016

Sparse and Compressive Sensing Techniques参考文献 18被引用数 5

ひとこと要約

この論文は、条件付き勾配アルゴリズムにおけるコストの高い線形最適化オラクル呼び出しを、弱いが高速な分離オラクルに置き換えるラジフィケーション技術を導入する。これにより、収束速度を維持したまま、実行時間（ウォールクロックタイム）が最大数個のオーダー単位で劇的に短縮される。この手法は候補解をキャッシュし、必要に応じてのみ完全な線形オラクルを呼び出すため、複雑な実行可能領域において顕著な効率向上を達成する。

ABSTRACT

Conditional gradient algorithms (also often called Frank-Wolfe algorithms) are popular due to their simplicity of only requiring a linear optimization oracle and more recently they also gained significant traction for online learning. While simple in principle, in many cases the actual implementation of the linear optimization oracle is costly. We show a general method to lazify various conditional gradient algorithms, which in actual computations leads to several orders of magnitude of speedup in wall-clock time. This is achieved by using a faster separation oracle instead of a linear optimization oracle, relying only on few linear optimization oracle calls.

研究の動機と目的

• 複雑な実行可能領域において、しばしば高コストとなる線形最適化オラクル呼び出しの計算コストを低減すること。
• 各反復において線形最適化オラクルが厳密に必要かどうかを検討し、収束に十分な弱い保証が可能かどうかを調査すること。
• キャッシュと早期終了を用いて、事前に計算された解の再利用を可能にし、収束を損なわずに効率を向上させること。
• 収束速度を維持しつつ、実際のオラクル呼び出し回数とウォールクロックタイムを著しく削減する実用的フレームワークの開発

提案手法

• 目的関数を要因 $ K $ だけ改善する頂点を返す弱い分離オラクルを導入し、そのような頂点が存在しない場合はそれを報告する。
• 事前に計算された頂点をキャッシュし、完全な線形最適化オラクルを呼び出す前にまずそれらをチェックすることで、高価な呼び出し回数を削減する。
• 負の分離オラクル応答から得られる双対バウンディング $ \Phi_t $ を用いて、部分最適性を推定し、収束を導く。
• 分離オラクルが改善する頂点を発見できない場合にのみ線形オラクルを呼び出す、フレンク・ウルフ法のラージド変種を設計する。
• 調整パラメータに依存しないパラメータフリーなバージョンを実装し、$ \Phi_t $ を半分に減らし、線形探索によって適応的に調整することで、チューニングの依存度を最小限に抑える。
• 一度、キャッシュされた頂点の凸包が最適解を含むようになると、以降は完全な線形オラクル呼び出しは必要なくなり、キャッシュされた解のみで進捗が得られる。

実験結果

リサーチクエスチョン

• RQ1 条件付き勾配アルゴリズムの各反復で線形最適化オラクルを完全に回避することは可能か？ その場合でも収束速度は維持されるか？
• RQ2 近似的に改善する頂点を返す弱い分離オラクルでも、同等の速度で収束が保証されるか？
• RQ3 キャッシュと分離オラクルクエリの早期終了により、実際の実行時間（ウォールクロックタイム）が著しく短縮されるか？
• RQ4 弱い分離オラクルにおける近似パラメータ $ K $ の選択が、反復回数と計算時間のトレードオフにどのように影響するか？
• RQ5 パラメータフリーなラージド条件付き勾配法の変種は、教科書的な対応する手法に比べ、収束性と効率性の両面で優れているか？

主な発見

• ラジフィケーションされた条件付き勾配アルゴリズムは、特に複雑な実行可能領域において、標準的な条件付き勾配法と比較してウォールクロックタイムが最大数個のオーダー単位で短縮される。
• 弱い分離オラクルにより、実際の線形最適化オラクル呼び出し回数が大幅に削減され、収束速度の低下は定数因子程度にとどまる。
• パラメータフリーなラージド条件付き勾配アルゴリズムの変種は、$ \Phi_t $ の適応的管理とチューニングのオーバーヘッド削減により、反復回数とウォールクロックタイムの両面で教科書版を上回る性能を示す。
• 線形オラクルが高コストとなる問題では、ラジフィケーション手法によりキャッシュされた頂点のみで目的関数の進捗を得られ、真のオラクル呼び出し回数は高々対数的数にまで削減される。
• 近似パラメータ $ K $ を大きくすると、計算時間は短縮されるが、1反復あたりの進捗が遅くなるため、計算量と収束速度の間で調整可能なトレードオフが得られる。
• キャッシュされた頂点の凸包が最適解を含むようになると、以降は真の線形最適化オラクル呼び出しは一切不要となり、進捗はすべてキャッシュされた解に依存するようになる。