[論文レビュー] Revisiting Frank-Wolfe for Polytopes: Strict Complementarity and Sparsity

Dan Garber|arXiv (Cornell University)|May 31, 2020

Advanced Combinatorial Mathematics参考文献 28被引用数 4

ひとこと要約

この論文は、多面体上の滑らかな凸最小化に対するFrank-Wolfeアルゴリズムを再考し、標準的なアンウェイステップを含むバージョンが、最悪ケースにおいても環境次元に明示的な依存を示し続けることを示している。また、厳密補完性条件が成り立つ場合、収束が線形になり、最適な面の次元にのみ依存することを確立し、スパース問題における実験的成果を説明するとともに、この条件が最適解のノイズ耐性と関連することを示している。

ABSTRACT

In recent years it was proved that simple modifications of the classical Frank-Wolfe algorithm (aka conditional gradient algorithm) for smooth convex minimization over convex and compact polytopes, converge with linear rate, assuming the objective function has the quadratic growth property. However, the rate of these methods depends explicitly on the dimension of the problem which cannot explain their empirical success for large scale problems. In this paper we first demonstrate that already for very simple problems and even when the optimal solution lies on a low-dimensional face of the polytope, such dependence on the dimension cannot be avoided in worst case. We then revisit the addition of a strict complementarity assumption already considered in Wolfe's classical book \cite{Wolfe1970}, and prove that under this condition, the Frank-Wolfe method with away-steps and line-search converges linearly with rate that depends explicitly only on the dimension of the optimal face. We motivate strict complementarity by proving that it implies sparsity-robustness of optimal solutions to noise.

研究の動機と目的

• 大規模なスパース問題において、Frank-Wolfeの変種（アンウェイステップ付き）が環境次元に依存しないように見える収束速度を示す理由を説明すること。
• 標準的なアンウェイステップ付きFrank-Wolfe法の最悪ケース収束速度が、最適解が低次元の面にある場合でさえも、環境問題次元に明示的に依存することを示すこと。
• Wolfeの古典的な厳密補完性条件を再評価し、これが最適な面の次元にのみ依存する次元独立の線形収束速度を可能にすることを示すこと。
• 厳密補完性が最適解の決定的ノイズ摂動に対するロバストネスを意味することを示し、これを動機づけること。

提案手法

• 最適解が頂点（0次元の面）である場合でさえも、環境次元に比例するステップ数を要する最悪ケースの構成を提示し、このような依存が一般には避けられないことを示す。
• Wolfeの厳密補完性条件を再考し、最適解における勾配が最適な面に属さない頂点に対して正の内積を持つことを保証する。
• 厳密補完性のもとで、アンウェイステップ付きFrank-Wolfe法とラインサーチを用いた収束が、環境空間ではなく最適な面の次元にのみ依存する線形収束レートで達成されることを証明する。
• 双対ギャップ解析と探索方向のノルムの上限を用いて、反復点が最適な面に入った後、収束速度が向上し、面の幾何構造にのみ依存することを示す。
• 厳密補完性が、最適な面が決定的摂動に対してロバストであることを意味することを確立する。つまり、小さなノイズによって最適解が次元の高い面にシフトすることはない。
• 既存の収束結果（例：Lacoste-Julien & Jaggi, 2015の定理2）を活用し、双対ギャップをバウンドし、ステップサイズを制御することで、反復点が最終的に入り、最適な面にとどまるように保証する。

実験結果

リサーチクエスチョン

• RQ1 最適解が多面体の低次元の面にある場合、Frank-Wolfeの収束速度が環境次元に依存するのを回避できるか？
• RQ2 Wolfe や Guélat & Marcotte が以前に用いた古典的な厳密補完性条件が、最適な面の次元にのみ依存する改善された収束速度をもたらすか？
• RQ3 厳密補完性とスパース最適化問題における最適解の決定的ノイズに対するロバストネスとの関係は何か？
• RQ4 理論的収束速度が環境次元に比例するにもかかわらず、なぜアンウェイステップ付きFrank-Wolfeの変種が実際にはうまく機能するのか？

主な発見

• 最悪ケースの構成により、最適解が頂点（0次元の面）であっても、アンウェイステップ付きFrank-Wolfe法が環境次元に比例する反復回数を要することが示され、このような依存が一般には避けられないことが明らかになった。
• 厳密補完性のもとで、アンウェイステップ付きFrank-Wolfe法とラインサーチを用いた収束は、環境次元ではなく最適な面の次元にのみ依存する線形収束レートで達成される。
• 厳密補完性条件は、最適解における勾配が最適な面に属さないすべての頂点と正の内積を持つことを保証し、これにより不要なステップを回避し、反復点を最適な面に保つことができる。
• 本論文では、厳密補完性が最適な面が決定的摂動に対してロバストであることを示した。つまり、小さなノイズによって最適解が次元の高い面にシフトすることはない。これは、問題が良好に条件付けられていることの意味を支持する。
• 収束レートのバウンドを、グローバルな直径バウンド D ではなく最適な面の直径 D_F* に置き換えることで、よりタイトで面の次元に依存するレートが得られた。
• 解析により、反復点が最適な面に入った後（有限回のステップ後）、アルゴリズムが低次元の多面体上で最適化しているかのように振る舞い、より速い収束が達成されることを示した。