[論文レビュー] High dimensional deformed rectangular matrices with applications in matrix denoising

Xiucai Ding|arXiv (Cornell University)|Feb 22, 2017

Random Matrices and Applications参考文献 30被引用数 7

ひとこと要約

本稿は、M ≈ N である高次元長方形設定における低ランク行列ノイズ除去のための2つの効率的推定器を開発する。有限ランク摂動下での特異値および特異ベクトルの局所漸近的解析を活用し、特異値および特異ベクトルの確実収束の極限と収束速度を確立する。信号の特異値が信号強度が臨界閾値を超えると、バルクの Marchenko-Pastur スペクトルから分離し、回転不変またはスパース特異ベクトル推定器を用いて一貫した回復が可能になることを示す。

ABSTRACT

We consider the recovery of a low rank $M imes N$ matrix $S$ from its noisy observation $ ilde{S}$ in two different regimes. Under the assumption that $M$ is comparable to $N$, we propose two consistent estimators for $S$. Our analysis relies on the local behavior of the large dimensional rectangular matrices with finite rank perturbation. We also derive the convergent limits and rates for the singular values and vectors of such matrices.

研究の動機と目的

• M ≈ N である高次元長方形行列において、古典的トレuncated SVD が失敗することへの対処。
• スパース特異ベクトルの事前知識がある・ないの2つの状況における低ランク信号行列のための効率的推定器の開発。
• 大規模な変形長方形行列の特異値および特異ベクトルの確実収束の極限と収束速度の導出。
• 特異値挙動における相転移を、臨界閾値 d = c^{-1/4} で分離する外れ値とバルク挙動の境界として同定すること。
• 回転不変性およびスパarsity制約の下での最適行列ノイズ除去の理論的裏付けの提供。

提案手法

• 有限ランク摂動を受ける大規模 M×N 長方形行列の固有構造に対する局所漸近的解析を用いる。
• 等方的局所 Marchenko-Pastur 法則およびリゾルベント技術を用いて、特異値および特異ベクトルの挙動を分析する。
• リゾルベント展開およびスペクトル射影不等式を用いて、真の特異ベクトルと推定特異ベクトルのなす角度を制限する。
• 複素解析および Stieltjes 変換法を用いて、特異値および特異ベクトルの収束速度を導出する。
• リゾルベントの虚部を含む新規誤差推定式を導入し、関数 𝒯(z) を用いたスペクトルギャップ制御を実施する。
• 信号と実験的特異ベクトルの距離を臨界閾値 c^{-1/4} を用いて制御する重要な補題（補題 5.6）を確立する。

実験結果

リサーチクエスチョン

• RQ1 有限ランク摂動を受ける高次元変形長方形行列における特異値および特異ベクトルの確実収束極限と収束速度は何か？
• RQ2 信号強度 d は、特異値がバルク Marchenko-Pastur スペクトルからどのように分離するかにどのように影響するか？
• RQ3 ノイズ付き行列の主特異ベクトルが真の信号行列の主特異ベクトルと一致する条件は何か？
• RQ4 特異ベクトルが未知（回転不変領域）またはスパース（スパarsity領域）である場合、最適行列ノイズ除去はどのように達成できるか？
• RQ5 臨界閾値 d = c^{-1/4} は、外れ値とバルク特異値の間の相転移を決定づける役割を果たすか？

主な発見

• d > c^{-1/4} のとき、最大特異値 μ₁ がバルク Marchenko-Pastur スペクトルから分離し、外れ値として現れる。
• ノイズ付き行列の特異ベクトルは、真の信号特異ベクトルの周囲のコーン内に集中し、開口角は確率的極限に収束する。
• d < c^{-1/4} のとき、ノイズ付き行列の主特異ベクトルは真の信号ベクトルに対して漸近的に直交するようになる。
• 真の特異ベクトルと推定特異ベクトルの内積の二乗は、⟨vᵢ, ṽⱼ⟩² ≤ C N^{Cε₀} / [N((dᵢ − c^{-1/4})² + κⱼ^d)] を満たす。ここで κⱼ^d = N^{-2/3}(j ∧ (K+1−j))^{2/3} である。
• 回転不変領域では、提案された推定器は Gavish と Donoho が導出したものと同一のミニマックスリスクを達成し、最適性が確認される。
• スパース特異ベクトル領域では、信号強度が臨界閾値を超過し、かつ特異ベクトルがスパースである場合、一貫した回復が達成される。