[論文レビュー] Truncated Power Method for Sparse Eigenvalue Problems

Xiao–Tong Yuan, Tong Zhang|arXiv (Cornell University)|Dec 12, 2011

Sparse and Compressive Sensing Techniques参考文献 35被引用数 254

ひとこと要約

本稿では、スパース固有値問題を解くための計算的に効率的なアルゴリズムとして、スパース性を強制するためのイテレーティブハードスラッグイングと組み合わせたパワー反復を組み合わせた、截断パワー法（truncated power method）を提案する。この手法は、緩い条件下でもスパース固有ベクトルを正当に回復できることを理論的に保証し、スパースPCAおよびデューレテストk部分グラフ問題において、強固な理論的保証と競争力のある実験的性能を示している。

ABSTRACT

This paper considers the sparse eigenvalue problem, which is to extract dominant (largest) sparse eigenvectors with at most $k$ non-zero components. We propose a simple yet effective solution called truncated power method that can approximately solve the underlying nonconvex optimization problem. A strong sparse recovery result is proved for the truncated power method, and this theory is our key motivation for developing the new algorithm. The proposed method is tested on applications such as sparse principal component analysis and the densest $k$-subgraph problem. Extensive experiments on several synthetic and real-world large scale datasets demonstrate the competitive empirical performance of our method.

研究の動機と目的

• 対称的で正定値半定値行列の最大kスパース固有ベクトルを計算するための効率的で理論的根拠のあるアルゴリズムを開発すること。
• スパース固有値問題が非凸的かつNP困難であるという性質に対し、実用的でありながら正当に効果的な手法を提供すること。
• 行列の摂動がスパース部分行列に対して小さければ、アルゴリズムが真のスパース固有ベクトルを回復できることを示す理論的分析を提供すること。
• スパースPCAおよびデューレテストk部分グラフ検出の応用において、実世界および合成データセット上で本手法の有効性を示すこと。

提案手法

• 古典的なパワー法を拡張し、各反復後に最大k個の絶対値が大きい成分のみを保持するハードスラッグイングステップを適用することでスパース性を強制する。
• 各反復で、$ x_{t+1} = \text{shrink}(A x_t, k) $ を計算する。ここで、$ \text{shrink}(\cdot, k) $ は絶対値が最大k個の要素のみを保持する。
• アルゴリズムはランダムベクトルまたは単純なヒューリスティックで初期化され、レイリー商 $ x^\top A x $ を用いて収束をモニタリングする。
• 理論的分析では、摂動行列 $ E $ のスパース部分行列のスペクトルノルムに基づいて回復誤差の上限が得られ、行列の全次元 $ p $ には依存しない。
• 最小kスパース固有値問題への拡張は、同じ制約下で $ x^\top A x $ を最小化することで行う。
• デューレテストk部分グラフ問題への適用では、隣接行列を用い、同様に切断に基づくパワー反復を適用する。

実験結果

リサーチクエスチョン

• RQ1 単純で反復的な手法に切断処理を組み合わせることで、対称行列の主要kスパース固有ベクトルを効果的に近似できるか？
• RQ2 行列が摂動を受ける状況下で、截断パワー法が真のスパース固有ベクトルを正当に回復できる条件は何か？
• RQ3 スパースPCAおよびデューレテストk部分グラフ問題において、截断パワー法の性能は、従来のグリーディ法や凸緩和法と比べてどうか？
• RQ4 理論的回復保証は、行列の全次元に依存するのではなく、スパース性の程度と部分行列構造に依存するか？

主な発見

• 截断パワー法はスパースPCAにおいて競争力ある性能を示し、ノイズが加わった共分散行列からスパース主成分を効果的に回復できた。
• デューレテストk部分グラフ問題において、TPower-DkSは、hollowood-2009のような大規模グラフにおいて、Greedy-FeigeおよびGreedy-Raviを上回る部分グラフ密度を達成した。
• 航空路線データセットでは、TPower-DkSは6つのデューレテスト30部分グラフを発見し、総密度が1.14に達した。これはGreedy-Feige（0.90）およびGreedy-Ravi（0.99）を上回った。
• 計算効率が高く、hollowood-2009ではkごとに約10秒で実行された。これはGreedy-Feigeの1秒およびkが大きい場合に大幅に遅延するGreedy-Raviと比較して顕著である。
• 理論的分析により、回復誤差が摂動行列 $ E $ のスパース部分行列のスペクトルノルムに依存することが示され、全次元 $ p $ には依存しない。これは、実験的性能の優位性を説明する。
• 本手法は、一般条件の下で、非漸近的かつスパイクモデルでないスパース固有ベクトル推定の回復保証を初めて提供した。