[論文レビュー] Random perturbation of low rank matrices: Improving classical bounds

Sean M. O’Rourke, Van Vu+1 more|arXiv (Cornell University)|Nov 12, 2013

Sparse and Compressive Sensing Techniques参考文献 55被引用数 9

ひとこと要約

この論文は、ランダムな摂動を受ける低ランク行列に対して、古典的な行列摂動バウンド（特にWeylの不等式とDavis-Kahanの正弦定理）を改善する。濃縮現象とスペクトルギャップ解析を活用することで、特異値および特異ベクトルの摂動に対するより鋭いバウンドを導出し、特に特異値のギャップが摂動ノルムに対して大きい場合、決定論的バウンドと比較してランダム摂動が著しく安定性を向上させることを示している。

ABSTRACT

Matrix perturbation inequalities, such as Weyl's theorem (concerning the singular values) and the Davis-Kahan theorem (concerning the singular vectors), play essential roles in quantitative science; in particular, these bounds have found application in data analysis as well as related areas of engineering and computer science. In many situations, the perturbation is assumed to be random, and the original matrix has certain structural properties (such as having low rank). We show that, in this scenario, classical perturbation results, such as Weyl and Davis-Kahan, can be improved significantly. We believe many of our new bounds are close to optimal and also discuss some applications.

研究の動機と目的

• ランダム摂動下での低ランク行列に対して、古典的行列摂動バウンド（Weylの不等式とDavis-Kahanの正弦定理）を改善すること。
• ランダム摂動が低ランク行列回復における特異値および特異ベクトルの安定性に与える影響を分析すること。
• 摂動行列がランダムでかつ元の行列が低ランクである場合の特異ベクトル推定誤差に対する、より鋭い高確率バウンドを導出すること。
• これらの新しいバウンドがほぼ最適であり、PCA や低ランク近似などの実用的応用に適用可能であることを示すこと。

提案手法

• 摂動ベクトルの低次元部分空間へのランダム射影のノルムを制限するために、濃縮現象の技術を用いる。
• 次元 j の固定部分空間へのサブガウス型確率ベクトルの射影に対するガウス型尾部バウンドを適用するための補題38を適用する。
• 摂動行列 E に対して (C₁, c₁, γ)-濃縮条件を導入し、特異部分空間への射影の逸脱を制御する。
• Talagrandの不等式を用いて摂動行列 E の作用素ノルムを制御し、スペクトルノルムに関する高確率バウンドを可能にする。
• 誤差を三つの成分に分解することで、真の特異ベクトルと摂動後の特異ベクトルの距離に関する高確率バウンドを導出する：残差、摂動の射影、部分空間のずれ。
• 定理18を用いて、真の部分空間と摂動後の部分空間への射影演算子の差をバウンドし、スペクトルギャップ δⱼ = σⱼ − σⱼ₊₁ を組み込む。

実験結果

リサーチクエスチョン

• RQ1 摂動が決定論的ではなくランダムである場合、古典的行列摂動バウンドは改善可能か？
• RQ2 スペクトルギャップ δⱼ = σⱼ − σⱼ₊₁ は、ランダム摂動下での特異ベクトルの安定性にどのように影響するか？
• RQ3 特異ベクトル誤差が摂動ノルム、ランク、および特異値のギャップに依存する最適な依存関係は何か？
• RQ4 ランダム行列の濃縮性質は、低ランク行列近似の精度をどの程度向上させるか？

主な発見

• 本論文は、真の列 x とその摂動後の部分空間 V への射影との間の誤差に関する高確率バウンドを確立し、誤差が ε に依存するある c₀ > 0 に対して O(n⁻ᶜ⁰‖x‖) のオーダーで減少することを示している。
• 元の行列 A がランク r = Θ(1)、成分が Θ(1) のオーダー、特異値 σᵣ = Ω(n¹ᐟ²⁺ε) である場合、摂動後の特異ベクトルは n の多項式オーダーで減少する誤差で真のものを回復する。
• 特異ベクトル誤差のバウンドには、項 j¹ᐟ²√((‖x‖∞² + 1)/p) が含まれており、これはエントリワイドノイズとサンプリングレート p の影響を反映している。
• 部分空間のずれ ‖P_U − P_V‖ のバウンドは O(√j(λ²ᐟᵞr¹ᐟᵞ/δⱼ + ‖E‖/σⱼ + ‖E‖²/(σⱼδⱼ))) のオーダーで、スペクトルギャップと摂動の大きさに明示的な依存関係を示している。
• 高確率で、特異ベクトル推定誤差は三つの項の和で抑えられる：残差誤差 σⱼ₊₁、摂動射影誤差、部分空間のずれ。これらすべてが濃縮不等式によって制御されている。
• 最終的な高確率バウンドには三つの減少する項が含まれる：残差特異値由来の項、ランダム摂動射影由来の項、部分空間のずれ由来の項。これらすべてが n および p とともに減少する。