[論文レビュー] A unifying framework for the analysis of projection-free first-order methods under a sufficient slope condition

Francesco Rinaldi, Damiano Zeffiro|arXiv (Cornell University)|Aug 22, 2020

Sparse and Compressive Sensing Techniques参考文献 37被引用数 5

ひとこと要約

本稿は、短いステップの連鎖（SSC）手順を用いて、射影フリーの一次順序法の分析を統一するフレームワークを導入する。この手法により、連続する短いステップにおいて勾配計算を飛ばすことで、'良いステップ'と'悪いステップ'を区別する必要がなくなる。十分な勾配勾配条件のもとで、滑らかな非凸問題に対してグローバル収束レートを確立し、Kurdyka-Łojasiewicz（KL）性質のもとで局所的線形収束を示す。これは、かつてこのような手法に対して解析されていなかったものであり、有利な設定では射影勾配法のレートと一致する。

ABSTRACT

The analysis of projection-free first order methods is often complicated by the presence of different kinds of "good" and "bad" steps. In this article, we propose a unifying framework for projection-free methods, aiming to simplify the converge analysis by getting rid of such a distinction between steps. The main tool employed in our framework is the Short Step Chain (SSC) procedure, which skips gradient computations in consecutive short steps until proper stopping conditions are satisfied. This technique allows us to give a unified analysis and converge rates in the general smooth non convex setting, as well as convergence rates under a Kurdyka-Lojasiewicz (KL) property, a setting that, to our knowledge, has not been analyzed before for the projection-free methods under study. In this context, we prove local convergence rates comparable to those of projected gradient methods under the same conditions. Our analysis relies on a sufficient slope condition, ensuring that the directions selected by the methods have the steepest slope possible up to a constant among feasible directions. This condition is satisfied, among others, by several Frank-Wolfe (FW) variants on polytopes, and by some projection-free methods on convex sets with smooth boundary.

研究の動機と目的

• 射影フリー法の収束解析における複雑さ、すなわち'良いステップ'と'悪いステップ'を区別する必要性を解消すること。
• さまざまなフランク＝ウォルフの変種および射影フリー法を、同一のフレームワークで統一的に解析すること。
• Kurdyka-Łojasiewicz（KL）性質のもとで滑らかな非凸目的関数に対して収束レートを確立すること。これは、かつてこれらの手法に対して解析されていなかった設定である。
• 十分な勾配勾配条件のもとで、収束レートが同じ条件下での射影勾配法のレートと一致することを示すこと。
• 長期間にわたる短いステップの連鎖によって生じる現実的でない収束バウンディング（例：PFWアルゴリズムにおけるO(N!)バウンディング）を回避すること。

提案手法

• 短いステップの連鎖（SSC）手順は、連続する短いステップを連結し、停止条件を満たすまで勾配評価を飛ばす。これにより収束解析が簡素化される。
• フレームワークは、十分な勾配勾配条件に依存する：選択された方向は、可能な方向の中での最も急な降下方向から一定の要因以内にある必要がある。
• 収束解析には微分不等式フレームワークを用い、suboptimalityの減衰をモデル化する関数 α(t) = Mb√(1/a) t^{θ−1} を使用する。
• 収束バウンディングは、σαの再帰的適用により導出され、θ ∈ (0, 1/2] および θ = 1/2 における漸近的挙動が解析される。
• SSCを活用することで、各イテレーションで線形計画問題を解く必要がなくなり、計算コストが削減される。
• 理論的結果は、リャプノフ型関数を用い、KL性質と関数 φ によるステップサイズの和のバウンディングにより確立される。

実験結果

リサーチクエスチョン

• RQ1 射影フリーの一次順序法の収束解析を統一的に開発することは可能か？ その際、'良いステップ'と'悪いステップ'を区別する必要がないようにする。
• RQ2 滑らかな非凸目的関数において、射影フリー設定のもとでKurdyka-Łojasiewicz（KL）性質のもとで達成可能な収束レートは何か？
• RQ3 十分な勾配勾配条件は、選択された方向が十分に降下方向を向いていることを保証し、ジグザグ行動を防ぐのか？
• RQ4 SSC手順は、PFWにおけるO(N!)のような長期間の短いステップの連鎖に起因する現実的でない収束バウンディングを排除できるか？
• RQ5 同じ条件下で、射影フリー法は、射影勾配法と同等の収束レートを達成できるのか、その程度はいかほどか？

主な発見

• 十分な勾配勾配条件のもとで、滑らかな非凸目的関数に対してグローバル収束が達成され、suboptimalityの減衰レートは θ ∈ (0, 1/2) に対して O(1/k^{1/(1−2θ)}) となる。
• θ = 1/2 の場合、suboptimalityは線形レート O((1 + a/(b²M²))^{-k/2}) で減衰し、同じ条件下での射影勾配法の収束レートと一致する。
• ステップサイズの和 ∑‖x_i − x_{i+1}‖ は、suboptimalityと同じレートで減衰し、極限点への収束を保証する。
• フレームワークはKL性質のもとで局所的線形収束を証明し、これは射影フリー法が滑らかな非凸目的関数に対してかつて確立されていなかった結果である。
• SSC手順により、各イテレーションで線形部分問題を解く必要がなくなり、計算コストが削減され、O(N!)のような最悪ケースバウンディングも排除される。
• 収束バウンディングの隠れ定数は初期のsuboptimalityに関して単調に依存するため、一般性を失わず、η ≥ f₀ − f* という一様バウンディングに置き換えることができる。