[論文レビュー] Self-Concordant Analysis of Frank-Wolfe Algorithms

Pavel Dvurechensky, Petr Ostroukhov+3 more|arXiv (Cornell University)|Feb 11, 2020

Sparse and Compressive Sensing Techniques参考文献 46被引用数 5

ひとこと要約

本稿では、機械学習で一般的なが自己調和（SC）関数を最小化するための適応的Frank-Wolfe（FW）アルゴリズムを提案する。SC関数は、曲率が有界でないため、標準的なFWの仮定のもとでは理論的収束保証が欠如している。SC関数の性質を活用することで、著者らは新たなステップサイズ方針を設計し、グローバルにO(1/k)収束を保証する。また、局所的線形最小化オラクル（LLOO）とレベル集合における強い凸性の下で線形収束を達成する、新たなFWの変種を提案する。

ABSTRACT

Projection-free optimization via different variants of the Frank-Wolfe (FW), a.k.a. Conditional Gradient method has become one of the cornerstones in optimization for machine learning since in many cases the linear minimization oracle is much cheaper to implement than projections and some sparsity needs to be preserved. In a number of applications, e.g. Poisson inverse problems or quantum state tomography, the loss is given by a self-concordant (SC) function having unbounded curvature, implying absence of theoretical guarantees for the existing FW methods. We use the theory of SC functions to provide a new adaptive step size for FW methods and prove global convergence rate O(1/k) after k iterations. If the problem admits a stronger local linear minimization oracle, we construct a novel FW method with linear convergence rate for SC functions.

研究の動機と目的

• 自己調和（SC）関数を最小化する際のFrank-Wolfe（FW）法における理論的収束保証の欠如に取り組む。SC関数は機械学習で一般的であるが、曲率が有界でないため、標準的なFW仮定を満たさない。
• FW収束解析が失敗する理由を克服する。標準的なFW解析は、有界な曲率とリプシッツ連続勾配に依存しており、SC関数ではこれらの条件を満たさない。
• 自己調和性の性質を活用して、目的関数の単調減少を保証する適応的ステップサイズ方針を設計する。これにより、レベル集合の滑らかさと強い凸性に基づく収束解析が可能になる。
• 局所的線形最小化オラクル（LLOO）とレベル集合における強い凸性の下で、新たなFW変種が線形収束率を達成できることを確立する。これにより、FW法の適用範囲がSC問題へ拡張される。
• SC設定におけるFW法の統一的フレームワークを提供し、ポisson逆問題や量子状態トモグラフィーなどの実用的応用への実装を可能にする。

提案手法

• 自己調和性の性質を活用して、グローバルなリプシッツ定数に依存しないステップサイズを設計し、目的関数の単調減少を保証する。
• グローバルな滑らかさが欠如する状況下でも、SC関数理論から導かれるレベル集合の滑らかさと強い凸性に基づく、新たな収束解析フレームワークを提案する。
• 局所的強い凸性とレベル集合上での有界曲率の下で、局所的線形最小化オラクル（LLOO）を用いた新たなFW変種を構築し、線形収束を達成する。
• SC関数の構造を活用して、曲率を暗黙的に制御するステップサイズを定義し、滑らかさパラメータの事前知識がなくても収束を可能にする。
• 3つの変種（2つの適応的FW法：V1, V2、およびラインサーチ変種）を実装・比較し、ポートフォリオ最適化とポアソン逆問題における数値的妥当性を検証する。
• Garber & Hazan (2016) が提案した1ノルム近傍に基づく特別なLLOO構成を単体制約に適用し、ポートフォリオ問題における局所近似を可能にする。

実験結果

リサーチクエスチョン

• RQ1 自己調和関数を最小化する際、リプシッツ連続勾配がなく、曲率が有界でない場合に、Frank-Wolfe法がグローバルに収束可能か？
• RQ2 グローバルな滑らかさや強い凸性が欠如する状況下で、どのような適応的ステップサイズ方針がFW法に対してO(1/k)のグローバル収束を保証するか？
• RQ3 どのような条件下で、自己調和関数に対するFrank-Wolfe変種が線形収束率を達成できるか？
• RQ4 局所的線形最小化オラクル（LLOO）を効果的に活用することで、SC最小化における収束速度をどのように向上できるか？
• RQ5 提案されたFW変種は、ポートフォリオ最適化やポアソン逆問題といった実用的SC問題において、標準的FW法やProximal Newton法を上回る性能を示せるか？

主な発見

• 提案された適応的FW変種は、リプシッツ連続勾配がなくても、自己調和関数に対してグローバルにO(1/k)収束を達成する。
• SC関数の性質に基づくステップサイズ方針により、目的関数の単調減少が保証され、レベル集合における収束解析が可能になる。
• 局所的線形最小化オラクル（LLOO）を用いた新たなFW変種は、局所的強い凸性とレベル集合上での有界曲率の下で線形収束を達成する。
• 数値実験の結果、適応的変種（V1, V2）は固定ステップサイズ（2/(k+2)）の標準的FW法を上回り、ラインサーチ法やProximal Newton法と同等またはそれ以上の性能を示す。
• 単体制約に対するLLOO構成は効果的であり、局所近似を可能にし、ポートフォリオ最適化問題における線形収束結果を裏付ける。
• 本手法は、ポアソン逆問題や量子状態トモグラフィーといった実世界の問題に適用可能であり、SC損失関数が一般的であるが、標準的FW法では収束しない問題にも有効である。