[論文レビュー] Affine Invariant Analysis of Frank-Wolfe on Strongly Convex Sets

Thomas Kerdreux, Lewis Liu+2 more|arXiv (Cornell University)|Nov 6, 2020

Stochastic Gradient Optimization Techniques参考文献 38被引用数 4

ひとこと要約

本稿は、強い凸集合におけるFrank-Wolfeアルゴリズムのアフィン不変性解析を、新たな構造的仮定「方向平滑性」を導入することで提案する。これにより、ノルムに依存しない収束レートが可能となる。また、驚くべきことに、平滑性推定に不変でないノルムを使用しても、アフィン不変な最適ステップサイズを回復できる、アフィン不変なバックトラッキングラインサーチを提案し、アルゴリズムのアフィン共変性と、従来のノルム依存の収束境界との間の長年の不整合を解消する。

ABSTRACT

It is known that the Frank-Wolfe (FW) algorithm, which is affine-covariant, enjoys accelerated convergence rates when the constraint set is strongly convex. However, these results rely on norm-dependent assumptions, usually incurring non-affine invariant bounds, in contradiction with FW's affine-covariant property. In this work, we introduce new structural assumptions on the problem (such as the directional smoothness) and derive an affine invariant, norm-independent analysis of Frank-Wolfe. Based on our analysis, we propose an affine invariant backtracking line-search. Interestingly, we show that typical backtracking line-searches using smoothness of the objective function surprisingly converge to an affine invariant step size, despite using affine-dependent norms in the step size's computation. This indicates that we do not necessarily need to know the set's structure in advance to enjoy the affine-invariant accelerated rate.

研究の動機と目的

• 強い凸集合におけるFrank-Wolfeアルゴリズムのアフィン共変性と、既存のノルム依存収束境界との不整合を解消すること。
• アフィン変換に対して不変である収束解析を構築し、理論的保証をアルゴリズムの内在的な幾何的性質と整合させること。
• アフィン不変収束レートを可能にするために、集合の幾何構造を事前に知らなくてもよい、新たな構造的仮定「方向平滑性」を導入すること。
• 平滑性推定にアフィン依存ノルムを使用しても、アフィン不変ステップサイズを達成できるバックトラッキングラインサーチ法を設計すること。
• 標準的なバックトラッキングラインサーチが、ノルムに依存するにもかかわらず、実際にはアフィン不変ステップサイズを自然に回復することを理論的および実験的に示すこと。

提案手法

• 降下方向に沿った局所的平滑性定数を用いて定義される、新たな構造的仮定「方向平滑性」を導入し、関数の曲率を方向的に適応的に制限する。
• 方向平滑性を用いて、強い凸集合におけるFrank-Wolfeのアフィン不変収束レートを導出。やや緩い条件下でもO(1/K²)の収束率を達成。
• 局所的平滑性定数L_loc(x_k)をℓ₂ノルムを用いて推定するバックトラッキングラインサーチを提案。しかし、証明可能にアフィン不変な最適ステップサイズに収束する。
• 平滑性推定に不変でないノルムを使用しても、平滑性推定の構造のおかげで、ステップサイズが最適なアフィン不変レートと一致することを確立。
• 任意のノルムに依存しないように、方向的挙動とアフィン不変量に焦点を当てた、新しい分析フレームワークを採用。
• 投影および分類問題における理論的境界と実験的検証を用いて、提案手法のロバスト性と不変性を確認。

実験結果

リサーチクエスチョン

• RQ1 ノルム依存仮定に依存せずに、強い凸集合におけるFrank-Wolfeのアフィン不変収束解析を確立できるか？
• RQ2 不変でないノルムを用いたバックトラッキングラインサーチでも、実際にはアフィン不変ステップサイズが得られるか？
• RQ3 どのような構造的仮定が、強い凸集合におけるFrank-Wolfeでノルムに依存しないアフィン不変収束レートを可能にするか？
• RQ4 ノルムに依存するにもかかわらず、なぜ標準的なバックトラッキングラインサーチが実際にはアフィン不変収束を達成できるのか？
• RQ5 方向平滑性は、Frank-Wolfe解析における従来の平滑性および強凸性仮定の一般的代替として使用可能か？

主な発見

• 提案された方向平滑性仮定は、ノルムに依存しないアフィン不変な関数曲率の特徴付けを提供し、改善された収束解析を可能にする。
• 方向平滑性推定に基づくバックトラッキングラインサーチ法は、計算にℓ₂ノルムを使用しても、証明可能にアフィン不変なステップサイズを生成する。
• 実験結果から、アフィン不変バックトラッキング法は、標準的なバックトラッキングおよび1/Lステップサイズを用いたナイーブFWよりも高速に収束することが判明。特に、悪条件な設定で顕著に優位である。
• 方向平滑性定数L_loc(x)はアフィン変換に対して不変であり、問題の変換行列の条件数が異なる場合でも、その推定値は安定している。
• 理論的分析により、バックトラッキングラインサーチが、min{1, 1/(2L_loc)} ≤ γ⋆ を満たすステップサイズγ⋆を発見することが証明された。これは最適なアフィン不変レートと一致する。
• 投影および分類タスクにおける実験から、ノルム依存の代替手法とは異なり、アフィン不変手法はアフィン変換下でも一貫した性能を維持することが確認された。