[論文レビュー] Approximating Eigenvectors by Subsampling

Noureddine El Karoui, Alexandre d’Aspremont|arXiv (Cornell University)|Aug 2, 2009

Sparse and Compressive Sensing Techniques参考文献 30被引用数 3

ひとこと要約

本論文は、大きな行列の真の固有ベクトルを、ランダムに抽出された部分行列からの固有ベクトルの平均を用いて、効率的に近似する手法を提案する。やや厳しい非一様性条件のもとで、通常は行列補完におけるものよりも制限が緩い条件下でも、高い精度の近似が達成され、次元削減や情報検索におけるスケーラブルなスペクトル手法の実現を可能にする。

ABSTRACT

We show that averaging eigenvectors of randomly sampled submatrices efficiently approximates the true eigenvectors of the original matrix under certain conditions on the incoherence of the spectral decomposition. This incoherence assumption is typically milder than those made in matrix completion and allows eigenvectors to be sparse. We discuss applications to spectral methods in dimensionality reduction and information retrieval.

研究の動機と目的

• 完全な行列計算を要しない大規模行列の固有ベクトル近似のスケーラブルな手法の開発を目的とする。
• スペクトル手法における計算コストを、部分行列のサンプリングを活用することで低減しつつ、近似の精度を維持することを目的とする。
• 行列補完における非一様性仮定よりも緩い仮定を導入し、スパースな固有ベクトルやより広範な応用への適用を可能とすることを目的とする。
• 完全な特異値分解を避けることで、近似スペクトル分解を用いた効率的な次元削減および情報検索を可能とすることを目的とする。

提案手法

• 元の行列から部分行列をランダムに抽出し、それぞれの固有ベクトルを計算する。
• 複数の部分行列サンプルから得られた固有ベクトルを平均化して、真の固有ベクトルの安定した近似を構築する。
• 収束性と近似精度を保証するため、スペクトル分解における非一様性条件を用いる。
• 固有ベクトル分解の構造を活用することで、スパースまたは構造的固有ベクトルであっても低誤差を維持する。
• 完全な特異値分解（SVD）が計算的に不可能な大規模スペクトル問題に本手法を適用する。

実験結果

リサーチクエスチョン

• RQ1 ランダムに抽出された部分行列からの固有ベクトルの平均化によって、固有ベクトルを正確に近似できるか？
• RQ2 本手法における非一様性仮定は、行列補完におけるものと比べてどのように異なるか？
• RQ3 固有ベクトル推定における、サンプリングサイズと近似誤差のトレードオフは何か？
• RQ4 次元削減などの実用的応用において、本手法はどれほど大規模な行列にスケーラブルに適用できるか？
• RQ5 固有ベクトルがスパースまたは構造的である場合、本手法は精度を保持できるか？

主な発見

• やや厳しい非一様性条件のもとで、本手法は高い精度の固有ベクトル近似を達成する。この非一様性条件は、通常、行列補完におけるものよりも制限が緩い。
• 部分行列からの固有ベクトルを平均化することで、分散が低減され、真の固有ベクトルへの収束が向上する。
• 真の固有ベクトルがスパースであっても、本手法は有効に機能し、実世界のデータへの応用範囲を広げる。
• 理論的保証が本手法の精度を裏付け、スケーラブルなスペクトルアルゴリズムへの応用に適している。
• 完全な行列分解を避けることで、次元削減および情報検索タスクにおける効率的な計算を実現する。