[論文レビュー] Efficient coordinate-wise leading eigenvector computation

Jialei Wang, Weiran Wang+2 more|arXiv (Cornell University)|Feb 25, 2017

Adaptive Control of Nonlinear Systems被引用数 9

ひとこと要約

本稿では、シフト・アンド・インバート変換と凸最小二乗問題における座標降下法を組み合わせることで、大規模な対称行列の最大固有ベクトルを計算する、グローバル収束性を有する座標ごとのアルゴリズムを提案する。この手法は、パワー法を凌駕し、特に固有値スペクトルがゆっくり減衰する場合にランツォス法と競合する線形収束を達成する。特に重要な変種では、逆固有ギャップの平方根に依存する性能を達成する。

ABSTRACT

We develop and analyze efficient "coordinate-wise" methods for finding the leading eigenvector, where each step involves only a vector-vector product. We establish global convergence with overall runtime guarantees that are at least as good as Lanczos's method and dominate it for slowly decaying spectrum. Our methods are based on combining a shift-and-invert approach with coordinate-wise algorithms for linear regression.

研究の動機と目的

• 行列ベクトル積を高価に要するのを避けるために、大規模な対称行列の最大固有ベクトル計算に適した、効率的でグローバル収束性を有する座標ごとの手法を開発すること。
• 従来の座標ごとの手法の限界、例えば大きな更新集合を必要とすることや、強い初期化仮定が必要な局所的収束性を克服すること。
• 特に固有値スペクトルがゆっくり減衰する場合に、ランツォス法と同等またはそれ以上の収束速度を達成すること。
• 完全な行列の保存を避けて、内積のベクトル同士の演算のみに依存することで、メモリ効率の良い計算を可能にすること。

提案手法

• シフト・アンド・インバート技術を用いて、最大固有ベクトル問題を凸最小二乗問題の系列に変換する。
• 各最小二乗問題を解くために座標降下法を適用し、反復ごとに1つの座標のみを更新する効率的な手法を実現する。
• 確立された収束保証を持つ、原理的な座標選択ルールを採用することで、グローバル収束を保証する。
• 逆固有ギャップの平方根に依存する収束速度を達成する変種（SI-GSL）を採用し、パワー法を上回り、有利な状況ではランツォス法と同等の性能を発揮する。
• 標準的な変種では1つのベクトル列のみを維持するため、複数の列を必要とする手法と比較して、反復あたりのオーバーヘッドを低減する。
• 確率的初期化を採用し、定数確率で最大固有ベクトルに収束することを保証する。

実験結果

リサーチクエスチョン

• RQ1 非凸性を有する問題であるにもかかわらず、座標ごとの更新を用いてグローバル収束保証を有する最大固有ベクトルの計算が可能か？
• RQ2 特に固有値スペクトルがゆっくり減衰する場合に、座標ごとの手法がランツォス法と同等またはそれ以上の収束速度を達成できるか？
• RQ3 パワー法が線形依存性を示すのに対し、ランツォス法が平方根依存性を示すように、逆固有ギャップへの依存性を平方根に改善できるか？ その上で、座標ごとの効率性を維持できるか？
• RQ4 このような手法は、完全な行列の保存や高価な行列ベクトル積を避けて、最小限のメモリ使用量で実装可能か？

主な発見

• 提案された SI-GSL 法は、逆固有ギャップの平方根に依存する収束速度を達成し、ランツォス法の最良依存性と一致する。
• 固有値が ρ₁ > ρ₁−Δ = ρ₂ = ... であるスパイク共分散モデルにおいて、SI-GSL の実行時間は固有ギャップ Δ に依存せず、一方でランツォス法の実行時間は 1/√Δ に比例する。
• 実験結果では、実世界のネットワークデータセットにおいて CPM や SGCD と比較して最大5倍の高速化が達成され、収束速度の向上が一貫して観察された。
• 本手法は、反復ごとに1つの座標のみを更新するという特徴を有しながらも、グローバル収束性を維持しており、従来の手法が k ≈ d 個の座標を更新する必要があるのを回避する。
• SI-ACDM は理論的収束速度が SI-GSL を上回るが、反復あたりの保守コストが高いため、実用的にはしばしば遅延する。
• 本手法は、ベクトル同士の内積のみに依存するため、大規模かつ密行列に対してもメモリ効率の良い計算が可能である。