[論文レビュー] Spectral Frank-Wolfe Algorithm: Strict Complementarity and Linear Convergence

Lijun Ding, Yingjie Fei+2 more|arXiv (Cornell University)|Jun 2, 2020

Sparse and Compressive Sensing Techniques参考文献 27被引用数 7

ひとこと要約

本稿では、スペクトル・フランク＝ウォルフ（SpecFW）アルゴリズムを紹介する。これは、スぺクトラヒドラ（spectrahedra）上での凸最適化のためのフランク＝ウォルフ法の新規変種であり、勾配の固有ベクトルを複数計算し、各反復で小規模な半正定値計画問題（SDP）を解く。この手法は、厳密補完性の条件下で線形収束を達成する。この条件は二次的成長を保証し、最適解が低ランクではあるがランク1ではない場合でも高速収束を可能にする。

ABSTRACT

We develop a novel variant of the classical Frank-Wolfe algorithm, which we call spectral Frank-Wolfe, for convex optimization over a spectrahedron. The spectral Frank-Wolfe algorithm has a novel ingredient: it computes a few eigenvectors of the gradient and solves a small-scale SDP in each iteration. Such procedure overcomes slow convergence of the classical Frank-Wolfe algorithm due to ignoring eigenvalue coalescence. We demonstrate that strict complementarity of the optimization problem is key to proving linear convergence of various algorithms, such as the spectral Frank-Wolfe algorithm as well as the projected gradient method and its accelerated version.

研究の動機と目的

• 固有値の重複（eigenvalue coalescence）に起因する古典的フランク＝ウォルフの収束遅延を低ランク行列回復問題に対して解消すること。
• 既存のフランク＝ウォルフ変種が線形収束を達成するためには最適解がランク1であると仮定する必要があるという制限を克服すること。
• スぺクトルヒドラ上での一次順序最適化法（例：フランク＝ウォルフ、投影勾配法）における線形収束を保証する条件としての厳密補完性の理論的基盤を確立すること。
• 射影フリーの効率を維持しながら低ランク設定でより高速な収束を達成できる実用的アルゴリズムの開発

提案手法

• 各反復で勾配ヘッシアン近似の上位 $k$ 個の固有ベクトルを計算する、新規なフランク＝ウォルフ変種、Spectral Frank-Wolfe（SpecFW）を提案する。
• これらの固有ベクトルが張る $k$ 次元部分空間上での小規模なSDPを解き、反復点を更新する。
• 現在の反復点と部分問題から得られる新しい低ランク解を、ラインサーチまたは固定ステップサイズ戦略で組み合わせる。
• スぺクトラヒドラの構造と線形写像 $\mathcal{A}$ のスパarsityを活用し、ランチョス法を用いて効率的に固有ベクトルを計算する。
• 式 (10) に示される部分問題の定式化を導入し、シフトされた勾配行列の固有値を確率単体上に射影する。
• 最適解における厳密補完性条件を活用することで収束を保証する。この条件は、$\nabla f(X_\star)$ の $r_{\star}$-番目と $(r_{\star}+1)$-番目の固有値の間にギャップが存在することを保証する。

実験結果

リサーチクエスチョン

• RQ1 最適解がランク1でない場合に、フランク＝ウォルフの変種が低ランク行列回復問題で線形収束を達成できるか。
• RQ2 スぺクトルヒドラ上でのフランク＝ウォルフ法や投影勾配法などの一次順序最適化法の線形収束を可能にする構造的条件は何か。
• RQ3 各反復で複数の固有ベクトルを計算し、小規模なSDPを解くことで、古典的フランク＝ウォルフに比べて収束がどのように向上するか。
• RQ4 部分問題の次元 $k$ が真のランク $r_\star$ より小さいか、大きい場合に、収束に与える影響は何か。
• RQ5 実用的な低ランク行列回復問題（例：マトリックスセンシング）において、厳密補完性を実験的に検証できるか。

主な発見

• スペクトル・フランク＝ウォルフアルゴリズムは、スぺクトルヒドラ上での凸最適化において、厳密補完性の下で線形収束を達成する。これは、高速収束を実現するための重要な条件である。
• 実験的結果から、$n=100,200,400,600$ の場合、マトリックスセンシング問題の最適解のランクは $r_\star=3$ であり、固有値ギャップ $\lambda_{n-3}(\nabla f(X_\star)) - \lambda_n(\nabla f(X_\star))$ は大きく（288.06 から 1358.62）、厳密補完性が確認された。
• $k=4>r_\star$ の場合、反復回数および実行時間の両面で、FW や G-BlockFW よりも SpecFW がより速く収束することが実験で示された。特に $n=600$ の場合顕著であった。
• $k=2<r_\star$ の場合、G-BlockFW は $10^{-1}$ 付近で停滞するが、SpecFW は依然として高速収束を維持しており、$k$ の誤設定に対してもロバストであることが示された。
• 全テスト次元において回復誤差は $0.0013$ 未満であり、真の低ランク解の高精度な回復が示された。
• 部分問題ソルバ（FASTA）により最終収束段階でわずかな振動が生じたが、部分問題の精度をさらに向上させることで改善の余地があると考えられる。