[論文レビュー] Using a Non-Commutative Bernstein Bound to Approximate Some Matrix Algorithms in the Spectral Norm

Malik Magdon‐Ismail|arXiv (Cornell University)|Mar 28, 2011

Sparse and Compressive Sensing Techniques参考文献 27被引用数 6

ひとこと要約

本稿では、行列積、スパース行列再構成、ℓ₂回帰などの行列演算を近似するためのロウ・サブサンプリング・アルゴリズムを提示している。非可換 Bernstein 確率不等式を用いることで、入力行列の安定ランクに線形に依存するスペクトルノルム近似が達成される。この手法により、安定ランクに比例するサンプル数よりも多項対数因子のみ多くサンプルをとることで、相対誤差の保証が得られ、計算コストを低減した高確率近似が可能になる。

ABSTRACT

We focus on \emph{row sampling} based approximations for matrix algorithms, in particular matrix multipication, sparse matrix reconstruction, and \math{\ell_2} regression. For \math{\matA\in\R^{m imes d}} (\math{m} points in \math{d\ll m} dimensions), and appropriate row-sampling probabilities, which typically depend on the norms of the rows of the \math{m imes d} left singular matrix of \math{\matA} (the \emph{leverage scores}), we give row-sampling algorithms with linear (up to polylog factors) dependence on the stable rank of \math{\matA}. This result is achieved through the application of non-commutative Bernstein bounds. Keywords: row-sampling; matrix multiplication; matrix reconstruction; estimating spectral norm; linear regression; randomized

研究の動機と目的

• スペクトルノルムにおいて相対誤差近似を達成する、効率的なロウ・サブサンプリング行列アルゴリズムの開発。
• 行列近似アルゴリズムのサンプル複雑度を、全行列ランクに依存するのではなく、安定ランクに線形に依存するように低減すること。
• ロウの意味論が重要な応用において不可欠な、元の行列の実際のロウを保持する手法の提供。
• ランダム化されたロウ・サブサンプリングを、リッジ・スコアから導かれる非一様確率を用いて実行することで、行列タスクの実行時間を o(md²) に抑えること。

提案手法

• 非可換 Bernstein 不等式を適用し、元の行列積とサンプリングされた行列積の間のスペクトルノルムのずれを抑えている。
• 左特異行列の各行の ℓ₂ ノルムの二乗に比例する確率でロウをサブサンプリングすることで、より良い近似を得ている（リッジ・スコア）。
• ランダム・プロジェクションを用いてリッジ・スコアを o(md²) 時間で近似し、スケーラブルな計算を実現している。
• サンプル行列上でパワー反復を組み合わせることで、定数倍の精度でスペクトルノルムを推定している。
• スペクトルノルムが高確率で (1±ε) に近似されるようにするためのサンプル数の上限 r ≥ (4ρ_A / ε²) ln(2d₁/δ) を導出している。
• 得られたスペクトルノルムの推定値を、行列積や回帰などの後続タスクにおける確率の補正に用いている。

実験結果

リサーチクエスチョン

• RQ1 非可換 Bernstein 確率不等式を用いることで、ロウ・サブサンプリング行列アルゴリズムのサンプル複雑度の tighter な境界を導出できるか？
• RQ2 行列の安定ランクを複雑度パラメータとして用いることで、スペクトルノルム近似におけるサンプリングの線形依存を達成できるか？
• RQ3 SVD を完全に計算せずに、リッジ・スコアを効率的に近似する方法は何か？
• RQ4 サンプル行列上でパワー反復を実行することで、確率の補正に十分な定数倍のスペクトルノルム推定値を得られるか？

主な発見

• 本稿では、r = O(ρ_A / ε² log(d₁/δ)) 個のサンプルでスペクトルノルム近似を達成しており、ρ_A は行列 A の安定ランクを表し、安定ランクに線形に依存する。
• 高確率で ‖ÃᵀÃ − AᵀA‖ ≤ ε‖A‖² が成り立つため、スペクトルノルムが (1±ε) に近似される。
• サンプル行列上でパワー反復を実行することで、O(md₁ + ρ_A d₁ / ε² log²(d₁/δ)) 時間でスペクトルノルムの定数倍の推定値が得られる。
• 高確率で (1/2√5)‖A‖² ≤ σ̃₁² ≤ (3/2)‖A‖² が成り立つため、確率の補正に十分なスペクトルノルム推定値が得られる。
• ランダム・プロジェクションを用いてリッジ・スコアを効率的に近似することで、SVD を用いた確率に依存するが、全体のアルゴリズムの実行時間を o(md²) に抑えることが可能になった。
• 本手法により、実際のロウを用いることで、行列積、スパース行列再構成、ℓ₂回帰の両方において相対誤差の保証が得られ、応用における解釈可能性が保たれる。