[論文レビュー] Singular vector and singular subspace distribution for the matrix denoising model

Zhigang Bao, Xiucai Ding+1 more|arXiv (Cornell University)|Sep 27, 2018

Random Matrices and Applications参考文献 68被引用数 16

ひとこと要約

本稿は、$Y = S + X$ の行列ノイズ除去モデルにおける特異ベクトルおよび部分空間の極限分布を確立する。ここで $S$ は低ランクの信号行列、$X$ は i.i.d. 成分を持つランダムノイズ行列である。$S$ および $X$ に対して一般的な仮定を置いたもとで、標本特異ベクトルと真の特異ベクトルの間の角度および部分空間距離の非ユニバーサル極限分布を導出し、信号構造およびノイズ分布に依存することを示している。

ABSTRACT

In this paper, we study the matrix denosing model $Y=S+X$, where $S$ is a low-rank deterministic signal matrix and $X$ is a random noise matrix, and both are $M imes n$. In the scenario that $M$ and $n$ are comparably large and the signals are supercritical, we study the fluctuation of the outlier singular vectors of $Y$. More specifically, we derive the limiting distribution of angles between the principal singular vectors of $Y$ and their deterministic counterparts, the singular vectors of $S$. Further, we also derive the distribution of the distance between the subspace spanned by the principal singular vectors of $Y$ and that spanned by the singular vectors of $S$. It turns out that the limiting distributions depend on the structure of the singular vectors of $S$ and the distribution of $X$, and thus they are non-universal.

研究の動機と目的

• $M$ と $n$ が同程度であり、信号が超臨界的であるとき、行列ノイズ除去モデル $Y = S + X$ におけるオーバーオーラー特異ベクトルのフラクチュエーションを分析すること。
• ノイズ行列 $Y$ の主特異ベクトルと $S$ の決定的特異ベクトルの間の角度の極限分布を特定すること。
• ノイズ行列 $Y$ の主特異ベクトルが張る部分空間と $S$ の主特異ベクトルが張る部分空間の間の距離の極限分布を導出すること。
• これらの極限分布が非ユニバーサルであり、信号の構造およびノイズ分布に依存することを確立すること。
• 高次元信号処理および確率的行列理論における特異ベクトルおよび部分空間の統計的推論ツールを提供すること。

提案手法

• 行列ノイズ除去モデル $Y = S + X$ を用い、$S$ を低ランクの決定的信号行列、$X$ を平均 0、分散 $1/n$ の i.i.d. 成分を持つ行列とする。
• $S = UDV^*$ および $Y = \widehat{U}\Lambda\widehat{V}^*$ の特異値分解 (SVD) を用いて、真の特異ベクトルと標本特異ベクトルを定義する。
• 部分空間間のコサイン主角度 $\cos\Theta(\widehat{U}_r, U)$ および $\cos\Theta(\widehat{V}_r, V)$ を用い、コサイン行列のフロベニウスノルムを距離測度として用いる。
• リソルベント展開および等方的局所法則を含む高次元確率的行列理論フレームワークを用い、特異ベクトルのフラクチュエーションを制御する。
• モーメントの推定に、キュムラント展開法および多次元展開技術を用い、$Y$ の線形スペクトル統計量のモーメントを推定する。
• リソルベント項およびその微分の詳細な解析を通じて、信号の特異ベクトル構造およびノイズ分布に依存することを示し、極限分布の非ユニバーサル性を確立する。

実験結果

リサーチクエスチョン

• RQ1 ノイズ行列 $Y$ の主特異ベクトルと信号行列 $S$ の真の特異ベクトルの間の角度の極限分布は何か？
• RQ2 標本特異ベクトルと真の特異ベクトルが張る部分空間間の距離は、漸近的にどのように振る舞うか？
• RQ3 特異ベクトルおよび部分空間の極限分布は、異なるノイズ分布および信号構造に対してユニバーサルか？
• RQ4 信号行列の特異ベクトル構造が、標本特異ベクトルの極限分布をどのように規定するか？
• RQ5 特異ベクトルおよび部分空間のフラクチュエーションは、$M$、$n$ および信号強度の共同挙動にどのように依存するか？

主な発見

• ノイズ行列 $Y$ の主特異ベクトルと信号行列 $S$ の真の特異ベクトルの間の角度の極限分布は非ユニバーサルであり、$S$ の特異ベクトルの具体的な構造に依存する。
• 部分空間距離 $L = \|\cos\Theta(\widehat{U}_r, U)\|_F^2$ の極限分布も非ユニバーサルであり、ノイズ分布および信号構造に依存する。
• 特異ベクトルのフラクチュエーションは、信号の特異ベクトルのアライメントおよびノイズ成分の四次モーメントに敏感な極限分布によって特徴づけられる。
• 解析により、特異ベクトル推定の誤差は漸近的に分布フリーではなく、信号の幾何的配置に依存することが示された。
• 導出された極限分布は、すべてのモーメントが有界な一般の i.i.d. ノイズ仮定のもとで確立されており、ノイズが非ガウス分布であっても成り立つ。
• 極限分布の非ユニバーサル性は、特異ベクトルおよび部分空間の推論において、特定の信号およびノイズ特性を考慮しなければならないことを示唆している。