[論文レビュー] On the Online Frank-Wolfe Algorithms for Convex and Non-convex Optimizations

Jean Lafond, Hoi-To Wai+1 more|arXiv (Cornell University)|Oct 5, 2015

Stochastic Gradient Optimization Techniques参考文献 3被引用数 8

ひとこと要約

本稿では、確率的コスト設定下での凸および非凸最適化に対するオンライン・フランク＝ウルフ（O-FW）およびオンライン・アウェイステップ・フランク＝ウルフ（O-AW）アルゴリズムを提案する。これらの手法は、強い凸性および内部点／多面体制約のもとで、 regret 界として 𝒪(log³T/T) および anytime 最適性として 𝒪(log²T/T) を達成する。非凸設定では、適応的ステップサイズやハイブリッドスキームを必要とせず、定常点への収束速度 𝒪(1/√T) を達成する。

ABSTRACT

In this paper, the online variants of the classical Frank-Wolfe algorithm are considered. We consider minimizing the regret with a stochastic cost. The online algorithms only require simple iterative updates and a non-adaptive step size rule, in contrast to the hybrid schemes commonly considered in the literature. Several new results are derived for convex and non-convex losses. With a strongly convex stochastic cost and when the optimal solution lies in the interior of the constraint set or the constraint set is a polytope, the regret bound and anytime optimality are shown to be ${\cal O}( \log^3 T / T )$ and ${\cal O}( \log^2 T / T)$, respectively, where $T$ is the number of rounds played. These results are based on an improved analysis on the stochastic Frank-Wolfe algorithms. Moreover, the online algorithms are shown to converge even when the loss is non-convex, i.e., the algorithms find a stationary point to the time-varying/stochastic loss at a rate of ${\cal O}(\sqrt{1/T})$. Numerical experiments on realistic data sets are presented to support our theoretical claims.

研究の動機と目的

• ハイブリッドスキームの計算コストを回避する、制約付き最適化のための単純で非適応的なオンラインプロジェクションフリー手法の開発。
• 特に最適解が制約集合の内部にある場合や集合が多面体である場合に、強い凸性のもとでオンライン・フランク＝ウルフの高速な regret および anytime 最適性バウンドを確立すること。
• 非凸損失関数への拡張を図り、プロジェクションフリーなオンライン設定において、初めて定常点への収束速度 𝒪(1/√T) を示す収束保証を提供すること。
• 実世界のデータセットを用いたオンライン行列補完およびロバスト二値分類の数値実験を通じて、理論的主張の妥当性を検証すること。

提案手法

• 非適応的ステップサイズルールと、各ラウンドでオンラインで計算された累積勾配の推定値（期待損失の真の勾配の代理）に基づく反復更新を用いる。
• オンライン設定において、古典的フランク＝ウルフおよびアウェイステップ・フランク＝ウルフ更新ルールを適用し、真の勾配の代わりに各ラウンドからの確率的推定値を用いる。
• 強い凸性および特定の制約集合構造（内部点または多面体）のもとで、よりタイトな regret および最適性バウンドを導出するための改善された解析フレームワークを採用する。
• 集中不等式（ホフディングの不等式およびサブガウスィアン尾部バウンド）を用いて、確率的勾配の逸脱を制御し、高確率での収束を保証する。
• 収束速度の向上を図るため、数値実験でバッチ処理および内側ループの反復を導入しつつ、1反復あたりの計算量を低く保つ。
• 提案手法の効率性と有効性を示すために、確率的プロジェクション勾配（sPG）手法と性能を比較する。

実験結果

リサーチクエスチョン

• RQ1 単純な非適応的ステップサイズを用いたオンライン・フランク＝ウルフアルゴリズムは、強い凸性のもとで、洗練されたハイブリッドプロジェクションフリー手法と同等の regret 界を達成できるか？
• RQ2 制約集合の幾何構造、特に最適解が内部にあるか、集合が多面体であるかという点が、オンライン・フランク＝ウルフの収束速度に与える影響は何か？
• RQ3 オンラインプロジェクションフリー手法は非凸最適化において定常点に収束することができるか？その収束速度はどの程度か？
• RQ4 提案されたオンライン・フランク＝ウルフおよびアウェイステップバージョンは、実際の収束速度と計算コストの面で、プロジェクション勾配手法に比べてどのように差をつけるか？

主な発見

• 強い凸性が成り立ち、かつ最適解が制約集合の内部にある場合、オンライン・フランク＝ウルフアルゴリズムは regret 界 𝒪(log³T/T) および anytime 最適性 𝒪(log²T/T) を達成する。
• 制約集合が多面体である場合、オンライン・アウェイステップ・フランク＝ウルフアルゴリズムも同様に、regret 界 𝒪(log³T/T) および anytime 最適性 𝒪(log²T/T) を達成する。
• 非凸損失関数に対しては、オンライン・フランク＝ウルフおよびアウェイステップバージョンが定常点に 𝒪(1/√T) のレートで収束する。これは、プロジェクションフリーなオンライン非凸最適化において、初めての収束速度レートの結果である。
• 提案手法は、特にスパース回復を伴うオンライン行列補完タスクにおいて、標準的な確率的プロジェクション勾配法よりも実行時間の面で優れている。
• 合成および実世界のデータセット（例：単一ピクセルイメージングのための R64.mat）を用いた数値実験により、O-FW および O-AW の両方が、理論的期待と一致する近似 𝒪(1/t) の速度でプライマル目的関数の収束を達成することが確認された。
• 理論的に得られた regret および最適性バウンドの改善は、実験的にも裏付けられており、最適解が制約集合の内部にない場合、O-AW が O-FW よりわずかに高い性能を示している。