[論文レビュー] Convex Optimization without Projection Steps

Martin Jaggi|arXiv (Cornell University)|Aug 4, 2011

Sparse and Compressive Sensing Techniques参考文献 93被引用数 28

ひとこと要約

本稿では、コンpact凸領域上の凸最適化のための射影フリーな一次最適化アルゴリズムを提示する。フランク＝ウォルフ法を一般化し、射影の代わりに線形部分問題を解くことで、ε-精度の双対ギャップを達成するO(1/ε)収束レートを達成する。ℓ₁正則化および低ランク行列問題におけるO(1/ε)のタイトなスパarsityおよびランクバウンドを確立し、NetflixやMovieLensデータセットのような大規模な行列補完タスクにおいて優れたスケーラビリティを示す。

ABSTRACT

For the general problem of minimizing a convex function over a compact convex domain, we will investigate a simple iterative approximation algorithm based on the method by Frank & Wolfe 1956, that does not need projection steps in order to stay inside the optimization domain. Instead of a projection step, the linearized problem defined by a current subgradient is solved, which gives a step direction that will naturally stay in the domain. Our framework generalizes the sparse greedy algorithm of Frank & Wolfe and its primal-dual analysis by Clarkson 2010 (and the low-rank SDP approach by Hazan 2008) to arbitrary convex domains. We give a convergence proof guaranteeing ε-small duality gap after O(1/ε) iterations. The method allows us to understand the sparsity of approximate solutions for any l1-regularized convex optimization problem (and for optimization over the simplex), expressed as a function of the approximation quality. We obtain matching upper and lower bounds of Θ(1/ε) for the sparsity for l1-problems. The same bounds apply to low-rank semidefinite optimization with bounded trace, showing that rank O(1/ε) is best possible here as well. As another application, we obtain sparse matrices of O(1/ε) non-zero entries as ε-approximate solutions when optimizing any convex function over a class of diagonally dominant symmetric matrices. We show that our proposed first-order method also applies to nuclear norm and max-norm matrix optimization problems. For nuclear norm regularized optimization, such as matrix completion and low-rank recovery, we demonstrate the practical efficiency and scalability of our algorithm for large matrix problems, as e.g. the Netflix dataset. For general convex optimization over bounded matrix max-norm, our algorithm is the first with a convergence guarantee, to the best of our knowledge.

研究の動機と目的

• 射影ステップのコストを回避するため、線形部分問題の解法に依存する一次最適化アルゴリズムの開発。
• フランク＝ウォルフ法を、半定値および行列ノルム制約を含む複雑な構造を持つような任意のコンパクト凸領域に一般化すること。
• ε-双対ギャップを達成するためのO(1/ε)反復複雑度を保証する理論的収束保証の確立。
• ℓ₁正則化問題におけるスパarsity（O(1/ε)）および低ランク半定値問題におけるランク（O(1/ε)）に対するタイトな上界および下界の導出。
• 核ノルムおよび最大ノルム正則化を用いた大規模な行列補完および低ランク回復タスクにおける実用的スケーラビリティおよび効率性の実証。

提案手法

• 反復的に目的関数の線形近似を定義域上で解き、勾配降下方向を保証する。射影を用いず、すべての反復点が定義域内に保たれる。
• 各反復でラインサーチを用いて最適ステップサイズを決定し、選択された方向に沿って目的関数を最小化する。
• 凸関数の曲率測度を用いて収束レートをバウンドし、O(1/ε)の複雑度保証を導出する。
• 行列スパarsityおよび低ランク制約の構造を活用することで、核ノルムおよび最大ノルム行列最適化に本手法を拡張する。
• スケーラビリティの向上および大規模設定への適応を目的に、確率的およびランダム化バージョンを導入する。
• 有界トレースまたは核ノルム領域上の凸最適化として定式化することで、行列補完およびロバストPCAに本アルゴリズムを適用する。

実験結果

リサーチクエスチョン

• RQ1 射影ステップを回避しつつ、収束保証を維持できる一次最適化法を設計できるか？
• RQ2 ℓ₁正則化および低ランク行列問題におけるε近似解で達成可能な最小スパarsityまたはランクの上限は何か？
• RQ3 大規模な行列因子分解問題において、本手法は既存の最先端アルゴリズムと比べて実際の性能で優れているか？
• RQ4 フランク＝ウォルフ風のアプローチを核ノルムおよび最大ノルム正則化付き行列最適化に一般化でき、理論的収束保証を伴うか？
• RQ5 実世界のデータセット（Netflix や MovieLens を含む）における本手法の計算コストおよびスケーラビリティはどの程度か？

主な発見

• アルゴリズムはO(1/ε)の収束レートを達成し、O(1/ε)反復後にε-双対ギャップを保証する。これは古典的勾配降下法の複雑度と一致する。
• ℓ₁正則化問題では、ε近似解のスパarsityがΘ(1/ε)でバウンドされ、上界と下界が一致することが示された。
• 有界トレースを伴う低ランク半定値最適化では、ε近似解のランクもΘ(1/ε)でバウンドされ、最適性が証明された。
• MovieLens 10Mデータセットでは、52分（400反復）でテストRMSE 0.8573を達成し、速度およびスケーラビリティにおいて先行手法を上回った。
• Netflixデータセットでは、13.6時間（200反復）で競争力のあるRMSE 0.9478を達成し、後処理ヒューリスティクスを用いないにもかかわらず、ソフト・インプライント法よりも実行時間が短かった。
• 著者らの知る限り、本手法は最大ノルム正則化付き行列最適化に初めて収束保証を備えたものである。