[論文レビュー] The spectral norm error of the naive Nystrom extension

Alex Gittens|arXiv (Cornell University)|Oct 24, 2011

Sparse and Compressive Sensing Techniques参考文献 19被引用数 51

ひとこと要約

この論文は、置換なしで一様にランダムに列をサンプリングする低ランク近似手法であるネイティブ・ニーメンス拡張に対する、最初の相対誤差スペクトルノルムバウンドを確立する。ネイティブ・ニーメンス拡張を列サブセット選択問題と結びつけ、置換なしサンプリングに対する行列チェルノフバウンドを適用することで、スペクトルが急速に減衰し、十分なサンプリングがなされている場合に相対誤差を保証するスペクトル誤差バウンドを導出する。

ABSTRACT

The naive Nystrom extension forms a low-rank approximation to a positive-semidefinite matrix by uniformly randomly sampling from its columns. This paper provides the first relative-error bound on the spectral norm error incurred in this process. This bound follows from a natural connection between the Nystrom extension and the column subset selection problem. The main tool is a matrix Chernoff bound for sampling without replacement.

研究の動機と目的

• ネイティブ・ニーメンス拡張に対して、最初の相対誤差スペクトルノルムバウンドを提供すること。この手法は、置換なしで一様にランダムに列をサンプリングする。
• ネイティブ・ニーメンス拡張と列サブセット選択問題を結びつける理論的基盤を確立すること。
• スペクトルが急速に減衰する条件下で、低ランク近似における相対誤差を保証するスペクトルノルム誤差バウンドを導出すること。
• スペクトル画像セグメンテーションなどの応用において、支配的固有部分空間を近似する際のネイティブ・ニーメンス拡張の有効性を検証すること。

提案手法

• 近似誤差をスペクトルノルムの観点から定式化するために、ネイティブ・ニーメンス拡張と列サブセット選択問題との関係を活用する。
• 誤差行列のスペクトルノルムを制御するために、置換なしサンプリングに対する行列チェルノフバウンドを適用する。
• 収差と確率的行列理論を用いて、サンプリングされた部分行列の逆行列をバウンドする分析に依存する。
• 重要な補題として、サンプリングされた列行列の一般化逆行列のスペクトルノルムをバウンドし、高い確率でフルランクを保証する。
• スペクトル誤差と部分空間近似品質の関係を、デイビス–カハンの sin Θ 定理を用いて関連付ける。
• 収差に基づく正確回復結果を一般化することで、相対誤差保証を提供するフレームワークを構築する。

実験結果

リサーチクエスチョン

• RQ1 データに依存しないサンプリングを行うにもかかわらず、ネイティブ・ニーメンス拡張に対して相対誤差スペクトルノルムバウンドを確立できるか。
• RQ2 ネイティブ・ニーメンス拡張のスペクトル誤差は、サンプリングされた列数と行列の収差にどのように依存するか。
• RQ3 スペクトルとサンプリングサイズにどのような条件を課すと、近似誤差がターゲット行列の固有値に対して相対的保証されるか。
• RQ4 置換なしサンプリングに対する行列チェルノフバウンドを、ニーメンス型低ランク近似の解析に効果的に適用できるか。

主な発見

• 論文は、高確率で成り立つ相対誤差スペクトルノルムバウンド \|A - C W† C^T\|_2 ≤ λ_{k+1}(A)(1 + n/(εℓ)) を確立する。
• このバウンドは、サンプリングされた列数 ℓ が ℓ ≥ (2τ / (1−ε)²) k log(k/δ) を満たす場合に成立する。ここで τ は支配的部分空間の収差である。
• この結果により、近似誤差が (k+1)番目の固有値に対して相対的であることが保証され、スペクトルが急速に減衰する場合には有効である。
• この手法により、サンプリングされた部分行列 W が高確率でフルランクを保つことが保証され、安定な一般化逆行列が可能になる。
• 解析により、固有値ギャップが十分に大きい場合には、ネイティブ・ニーメンス拡張が支配的 k 次元固有部分空間に対して高品質な近似を提供できることを確認した。