[論文レビュー] Linear Convergence of a Frank-Wolfe Type Algorithm over Trace-Norm Balls

Zeyuan Allen-Zhu, Elad Hazan+2 more|arXiv (Cornell University)|Aug 7, 2017

Stochastic Gradient Optimization Techniques参考文献 11被引用数 15

ひとこと要約

本稿では、トレースノルム球上の凸最適化のためのFrank-Wolfeアルゴリズムのランク-k版であるblockFWを提案する。標準Frank-Wolfeにおける1-SVDステップをk-SVD計算に置き換えることで、最適解のランクがk以下である場合に線形収束を達成し、誤差許容値に関して対数的となる。これは、標準Frank-Wolfeや既存の変種と比較して収束速度と総時間計算量の両面で顕著な向上をもたらす。

ABSTRACT

We propose a rank-$k$ variant of the classical Frank-Wolfe algorithm to solve convex optimization over a trace-norm ball. Our algorithm replaces the top singular-vector computation ($1$-SVD) in Frank-Wolfe with a top-$k$ singular-vector computation ($k$-SVD), which can be done by repeatedly applying $1$-SVD $k$ times. Alternatively, our algorithm can be viewed as a rank-$k$ restricted version of projected gradient descent. We show that our algorithm has a linear convergence rate when the objective function is smooth and strongly convex, and the optimal solution has rank at most $k$. This improves the convergence rate and the total time complexity of the Frank-Wolfe method and its variants.

研究の動機と目的

• トレースノルム球上での滑らかで強く凸な関数に対する標準Frank-Wolfeの収束遅さを解決すること。
• Frank-Wolfeのランク-k版が、投影勾配降下の高速収束レートを達成しつつ、1反復あたりのコストを低く保てるかどうかを調査すること。
• 各反復で1-SVDの代わりにk-SVDを使用することで、収束に必要な1-SVD計算回数を削減すること。
• 最適解のランクに関する事前知識がなくても、最適化中にランクパラメータkを自動的に選択可能にする仕組みを提供すること。

提案手法

• 各反復で勾配の負の値に正則化項を加えた行列の上位k個の特異ベクトル（k-SVD）を計算する、Frank-Wolfe型のアルゴリズムblockFWを提案する。
• 一定ステップサイズηを用い、反復をXt+1 = Xt + η(Vt − Xt)として更新する。ここでVtは(−∇f(Xt) + βηXt)のk-SVDによるランク-k行列である。
• blockFWを、滑らかさと強い凸性の下で収束保証が得られる、投影勾配降下のランク-k制限版とみなす。
• 1回の1-SVD計算でk-SVD分解から(k+1)-SVDを計算するためのラジエイティブ・アップデート戦略を採用し、効率的なランク適応を実現する。
• 自動k選択メカニズムを導入：追加の特異ベクトル1つあたりの利得が閾値未満に下がるまでkを増加させる。
• 正確なラインサーチを用い、効率性の観点からk-SVDを反復的1-SVD適用またはブロック・クリロフ法により実装する。

実験結果

リサーチクエスチョン

• RQ1 滑らかで強く凸な関数に対するトレースノルム球上でのランク-k Frank-Wolfe版が、線形収束を達成できるか？
• RQ2 Frank-Wolfeにおける1-SVDの置き換えとしてk-SVDを用いることで、標準Frank-WolfeおよびGarberの手法と比較して、1-SVD計算総回数が削減されるか？
• RQ3 最適解のランクに関する事前知識がなくても、最適化中に最適なランクkを自動的に選択できるか？
• RQ4 最適解が低ランクである場合に、blockFWが標準Frank-WolfeおよびGarberのアルゴリズムを実際の性能で上回るか？
• RQ5 1反復あたりのk-SVDの計算コストが、反復回数の削減を補って十分に低い水準にあるか、実用的な高速化を実現できるか？

主な発見

• 目的関数がβ-スムーズかつα-強く凸であり、最適解のランクがk以下である場合、blockFWはO(β/α log(1/ε))反復で線形収束を達成する。
• 1-SVD計算の総回数はT = O(kβ/α log(1/ε))であり、標準Frank-WolfeのO(β/ε)反復と比較して顕著に低い。
• 最適解の最小非ゼロ特異値が小さい場合、blockFWはGarberのアルゴリズムよりも1-SVD複雑度の面で優れている。
• 自動k選択メカニズムは最適化中にランクを適応的に調整でき、低ランク問題における実用的性能を向上させた。
• 合成データ、MovieLens、MNISTに対する実験では、θが小さい（すなわち最適解が低ランクである）場合にblockFWがFWおよびGarberの手法を上回る収束速度を示した。
• full SVDが非現実的となる大規模問題においても、低1反復コストを維持しながら高速収束を達成しており、実用的である。