[論文レビュー] Faster Projection-free Convex Optimization over the Spectrahedron

Dan Garber|arXiv (Cornell University)|May 20, 2016

Sparse and Compressive Sensing Techniques参考文献 27被引用数 11

ひとこと要約

本稿では、スぺクトラヒドロン上での凸最適化のための新しい条件付き勾配法を提案する。この手法は、ランク1正則化と適応的ステップサイズを組み込むことで、標準の条件付き勾配法よりも決定的な収束速度を向上させる。各反復の計算コストは低く保たれ、1回の主固有ベクトル計算のみを要するが、最適解が低ランクである場合に、$ O\left(\min\left\{\frac{β}{t}, \left(\frac{β\sqrt{\mathrm{rank}(\mathbf{X}^*)}}{α^{1/4}t}\right)^{4/3}, \left(\frac{β}{\sqrt{α}\lambda_{\min}(\mathbf{X}^*)t}\right)^2\right\} \right) $ のようにスケーリングされる改善された誤差バウンドを達成する。これは、最適解が低ランクである場合に標準CGを著しく上回る性能を発揮する。

ABSTRACT

Minimizing a convex function over the spectrahedron, i.e., the set of all positive semidefinite matrices with unit trace, is an important optimization task with many applications in optimization, machine learning, and signal processing. It is also notoriously difficult to solve in large-scale since standard techniques require expensive matrix decompositions. An alternative, is the conditional gradient method (aka Frank-Wolfe algorithm) that regained much interest in recent years, mostly due to its application to this specific setting. The key benefit of the CG method is that it avoids expensive matrix decompositions all together, and simply requires a single eigenvector computation per iteration, which is much more efficient. On the downside, the CG method, in general, converges with an inferior rate. The error for minimizing a $β$-smooth function after $t$ iterations scales like $β/t$. This convergence rate does not improve even if the function is also strongly convex. In this work we present a modification of the CG method tailored for convex optimization over the spectrahedron. The per-iteration complexity of the method is essentially identical to that of the standard CG method: only a single eigenvecor computation is required. For minimizing an $α$-strongly convex and $β$-smooth function, the expected approximation error of the method after $t$ iterations is: $$O\left({\min\{\frac{β}{t} ,\left({\frac{β\sqrt{ extrm{rank}( extbf{X}^*)}}{α^{1/4}t}} ight)^{4/3}, \left({\fracβ{\sqrtαλ_{\min}( extbf{X}^*)t}} ight)^{2}\}} ight) ,$$ where $ extbf{X}^*$ is the optimal solution. To the best of our knowledge, this is the first result that attains provably faster convergence rates for a CG variant for optimization over the spectrahedron. We also present encouraging preliminary empirical results.

研究の動機と目的

• スぺクトラヒドロン上での凸最適化における標準的条件付き勾配（CG）法の収束が遅いため、強い凸性下でも $ O(\beta/t) $ のスケーリングにとどまる問題に対処すること。
• 各反復コストを低く保ち（主固有ベクトル1回分の計算）、かつ決定的な収束速度を向上させるCGの変種を開発すること。
• 特に行列補完のような最適解が低ランクである大規模問題において、精度とランクのトレードオフを改善すること。
• 最適解のランクと最小非ゼロ固有値に依存する収束速度の理論的保証を提供すること。
• 提案手法が、行列補完タスクにおいて標準CGおよびアウェー・ステップCGよりも優れていることを実験的に検証すること。

提案手法

• 解のランクに基づく正則化項を組み込んだランク1正則化条件付き勾配（ROR-CG）法を提案し、標準CGを変更する。
• 理論的分析から導出された適応的ステップサイズ則 $ \eta_t = \frac{18}{t+8} $ を用い、収束性と安定性のバランスを取る。
• 各反復でランク1成分をグリーディに選択する戦略を採用し、ランダムサンプリングよりも優れた降下方向の質を向上させる。
• 探索方向を計算した後に正確なラインサーチを適用し、ステップサイズを最適化することで実用的性能を向上させる。
• 標準的手法を用いて核ノルム制約付き問題をスぺクトラヒドロン最適化問題に還元する。
• 線形最小化が主固有ベクトルの計算に帰着されることを活用し、各反復コストを低く保つ。

実験結果

リサーチクエスチョン

• RQ1 スぺクトラヒドロン上での条件付き勾配の変種は、各反復コストを増加させずに、標準CGよりも速い収束を達成できるか？
• RQ2 最適解のランクと最小非ゼロ固有値が、プロジェクションフリー手法の収束速度にどのように影響するか？
• RQ3 ランク1正則化と適応的ステップサイズは、スぺクトラヒドロン上での強い凸かつ滑らかな目的関数に対して、決定的な速い収束を実現できるか？
• RQ4 提案手法は、行列補完のような低ランク行列回復問題における精度-ランクトレードオフを改善できるか？
• RQ5 収束速度の理論的改善は、実世界のデータセットにおいて実用的性能の向上に結びつくか？

主な発見

• 提案手法は、期待される近似誤差が $ O\left(\min\left\{\frac{β}{t}, \left(\frac{β\sqrt{\mathrm{rank}(\mathbf{X}^*)}}{α^{1/4}t}\right)^{4/3}, \left(\frac{β}{\sqrt{α}\lambda_{\min}(\mathbf{X}^*)t}\right)^2\right\} \right) $ に抑えられ、標準CG法の $ O(β/t) $ のレートよりも決定的に速いことが保証されている。
• 最適解が低ランクである場合、収束速度が著しく向上し、標準CGよりも優れた精度-ランクトレードオフを達成する。
• 各反復の計算複雑度は標準CGと同一であり、主固有ベクトル1回分の計算のみを要するため、大規模問題へもスケーラブルである。
• MovieLensデータセットを用いた実験では、ROR-CGが、反復あたりの目的関数値の低下において、標準CGおよびアウェー・ステップCGを上回ることが示された。
• グリーディな成分選択とラインサーチ手順により、計算コストがわずかに増加するものの、実用的性能が向上している。
• 著者らの知る限り、本手法は、強い凸性下でスぺクトラヒドロン上での最適化において、標準CGを上回る決定的収束速度を達成する最初の手法である。