[論文レビュー] Subsampling Algorithms for Semidefinite Programming

Alexandre d’Aspremont|HAL (Le Centre pour la Communication Scientifique Directe)|Mar 13, 2008

Stochastic Gradient Optimization Techniques参考文献 49被引用数 4

ひとこと要約

この論文は、各反復の計算コストを著しく削減しながら収束性を維持する、半定値計画法のための確率的勾配アルゴリズムを提案する。サブサンプリング比を制御することにより、反復ごとのコストと総反復回数のバランスをとることができ、総合的な計算複雑度は解の数値的ランクに比例する。これにより、統計的学習における大規模問題の効率的解法が可能になる。

ABSTRACT

We derive a stochastic gradient algorithm for semidefinite optimization using randomization techniques. The algorithm uses subsampling to reduce the computational cost of each iteration and the subsampling ratio explicitly controls granularity, i.e. the tradeoff between cost per iteration and total number of iterations. Furthermore, the total computational cost is directly proportional to the complexity (i.e. rank) of the solution. We study numerical performance on some large-scale problems arising in statistical learning.

研究の動機と目的

• 内部点法が非常に大きな半定値計画問題に対して不適切である理由（各反復の計算コストが高く、メモリ帯域幅の制限がある）を解決すること。
• ランダム化とサブサンプリング技術を活用して、一階ソルバーの計算の細粒度を低減すること。
• 収束性を維持しながら各反復のコストを著しく低下させる、確率的近似アルゴリズムの開発。
• 総合的な計算複雑度を解の数値的ランクに明示的に関連付けることにより、低ランク問題に対して効率的な計算を可能とすること。

提案手法

• アルゴリズムは、スペクトルノルム最小化問題における勾配の近似に、行列係数の確率的サブサンプリングを用いる。
• サブサンプリングが反復コストと総反復回数のトレードオフを制御する、ミラー降下確率的近似フレームワークを適用する。
• ランダム化線形代数の結果に依拠し、行列要素の一部を用いてスペクトルノルムを近似する際の誤差を制限する。
• 行列要素を確率 $ p $ で独立にサブサンプリングし、特定の条件下で高確率でスペクトルノルムの近似が成立するようにする。
• 行列ベクトル積が必要な際には、Lanczosに基づく手法を用いて主要なリッツ対を効率的に計算する。
• すべての演算がキャッシュフレンドリーであり、各ステップで固定された少数の行列要素のみを扱うようにすることで、各反復の複雑度を低く保つ。

実験結果

リサーチクエスチョン

• RQ1 サブサンプリング技術を用いることで、一階半定値計画法ソルバーの各反復コストを低下させつつ収束性を損なわずに済ませることができるか？
• RQ2 サブサンプリング比が、反復ごとの計算コストと総反復回数のトレードオフにどのように影響するか？
• RQ3 アルゴリズムの総合的な計算複雑度が、解の数値的ランクにどの程度依存するか？
• RQ4 ランダム化行列近似の結果を、半定値計画法のための確率的勾配法に効果的に統合できるか？

主な発見

• アルゴリズムの総合的な計算コストは、解の数値的ランクに比例するため、低ランク問題に対して効率的である。
• $ n \times n $ 行列に対して、$ O(n \log n / \epsilon^2) $ の複雑度を達成し、$ n \to \infty $ のとき、アクセスが必要な要素の割合は無視できるほど小さくなる。
• 高確率で、$ \|X - S\|_2 \leq 4\|X\|_\infty \sqrt{n/p} $ が成り立ち、$ p \geq (8\log n)^4 / n $ の条件下で成立する。
• アルゴリズムの性能はクロック速度よりもメモリ帯域幅に制限されるため、低コストでキャッシュフレンドリーな反復がスケーラビリティにとって不可欠である。
• ランズォス手順においてランダムな初期ベクトルを使用した場合、リッツベクトルの収束が高確率で保証され、$ \epsilon $-相対精度を得るには $ k^{\text{Lan}} \leq \frac{\log(n/\delta^2)}{4\sqrt{\epsilon}} $ 回の反復が必要である。
• 二階計算が高価であるため、従来の内部点法に比べ、大規模問題において多くの安価な反復を可能にする点で、本手法は優れている。