[論文レビュー] A Unified Optimization View on Generalized Matching Pursuit and Frank-Wolfe

Francesco Locatello, Rajiv Khanna+2 more|arXiv (Cornell University)|Feb 21, 2017

Game Theory and Voting Systems被引用数 22

ひとこと要約

本稿では、一般化マッチングプルーリング（GMP）とフランク＝ウォルフ（FW）アルゴリズムの統一的最適化フレームワークを提示し、非一貫性やスパarsity仮定を必要とせずに、滑らかで凸な目的関数では1/tの部分線形収束率、強く凸な目的関数では線形収束率を達成することを示している。主な貢献は、最小内在的方向幅という新しい概念とアフィン不変性を介して、最適化におけるGMPの最初の明示的収束率を確立したことである。

ABSTRACT

Two of the most fundamental prototypes of greedy optimization are the matching pursuit and Frank-Wolfe algorithms. In this paper, we take a unified view on both classes of methods, leading to the first explicit convergence rates of matching pursuit methods in an optimization sense, for general sets of atoms. We derive sublinear ($1/t$) convergence for both classes on general smooth objectives, and linear convergence on strongly convex objectives, as well as a clear correspondence of algorithm variants. Our presented algorithms and rates are affine invariant, and do not need any incoherence or sparsity assumptions.

研究の動機と目的

• 一般化マッチングプルーリング（GMP）とフランク＝ウォルフ（FW）手法の統一的最適化的視点を提供すること。両者は同じ線形最小化オракル（LMO）を用いるが、実行可能集合が線形包と凸包で異なる。
• 一般化原子集合を用いるヒルベルト空間において、反復依存量に依存しない、最適化におけるGMPの最初の明示的収束率を導出すること。
• GMPとFWの変種（重み補正型および近似LMO拡張を含む）の間の対応関係を確立すること。
• 両アルゴリズムのアフィン不変形式とその収束率を導入し、定義域の再パrameterizationに対して不変であることを保証すること。
• 線形収束を支配する新しい幾何的複雑度測度「最小内在的方向幅」を定義・分析すること。この測度は、従来のコherenCeに基づく境界を上回る。

提案手法

• GMPとFWを、負の勾配との内積が最大となる原子を選択する線形最小化オラクル（LMO）を介して定式化する反復的アルゴリズムとして形式化する。
• 有界な反復点と最小内在的方向幅を複雑度定数として用い、滑らかで凸な目的関数では部分線形収束（1/t）、強く凸な目的関数では線形収束を導出する。
• 両GMPとFWのアフィン不変な再定式化を導入し、定義域のアフィン変換に対してアルゴリズムおよび収束率が不変であることを保証する。
• スケーリングされた原子集合α𝒜におけるFWと、𝒜の線形包におけるGMPの関係を分析し、α→∞のとき、FWの反復点がGMPの反復点にO(1/α)の速度で収束することを示す。
• 近似LMOを許容するフレームワークを拡張し、収束率が近似の品質に明示的に依存することを示す。
• FWと同様に更新ステップで二次上界を用いることで、GMPを滑らかな目的関数に一般化し、スパarsityや一貫性に依存しない。

実験結果

リサーチクエスチョン

• RQ1 一般化マッチングプルーリング（GMP）は、一般の原子集合に対して、スパarsityや一貫性仮定に依存せず、非漸近的で明示的な収束率を最適化で達成できるか？
• RQ2 原子集合のスケーリング下で、フランク＝ウォルフと一般化マッチングプルーリングの反復点および収束挙動の正確な関係は何か？
• RQ3 GMPとFWの収束率を、最適化定義域のアフィン変換に対して不変にするにはどうすればよいか？
• RQ4 GMPの線形収束率を支配する幾何的量は何か？ そして、コヒーレンスやピラミッド幅といった既存の概念と比べてどうか？
• RQ5 近似線形オラクルをGMPおよびFWの変種に用いることは可能で、収束保証を定量的に得られるか？

主な発見

• 本稿では、滑らかで凸な目的関数に対して、任意の有界な原子集合に対して、一般化マッチングプルーリング（GMP）の最初の明示的部分線形収束率O(1/t)を確立した。
• 強く凸な目的関数に対しては、GMPが最小内在的方向幅に依存する線形収束率を達成する。これは、従来のコヒーレンスよりもより頑健な新しい幾何的複雑度測度である。
• スケーリングされた原子集合α𝒜におけるFWの収束率は、𝒜の線形包におけるGMPの収束率にO(1/α)の速度で近づく。これは、正式な漸近的対応関係を示している。
• 提案されたアルゴリズムと収束率はアフィン不変である。これは、入力空間のアフィン変換に対しても不変であり、これはニュートン法やFW法にのみ知られていた性質であった。
• フレームワークは近似線形オラクルを許容し、収束率が明示的に近似品質に依存することを示しており、実用的応用性を高めている。
• 最小内在的方向幅は、コヒーレンスよりもタイトでより頑健な複雑度測度を提供し、特に新規原子の追加に対して優れており、既存の幾何的量（ピラミッド幅など）よりも良い収束境界を導く。