[論文レビュー] Normal Approximation and Confidence Region of Singular Subspaces

Dong Xia|arXiv (Cornell University)|Jan 2, 2019

Sparse and Compressive Sensing Techniques参考文献 32被引用数 5

ひとこと要約

本稿は、独立同分布のノイズのもとで、標本的および真の特異部分空間間の射影距離に対する非漸近的正規近似を確立する。標本固有射影子の明示的公式と高階のバイアス補正を用いて、最適な信号対ノイズ比のもとで漸近的正規性を証明し、ランクが $ o((d_1+d_2)^{1/3}) $ の割合で増加することを許容する。固有値ギャップの条件は不要で、$ d_1 $ および $ d_2 $ に対しても制約がない。主な貢献は、明示的なバイアス補正次数を伴う、厳密で有限標本の正規近似である。

ABSTRACT

This paper is on the normal approximation of singular subspaces when the noise matrix has i.i.d. entries. Our contributions are three-fold. First, we derive an explicit representation formula of the empirical spectral projectors. The formula is neat and holds for deterministic matrix perturbations. Second, we calculate the expected projection distance between the empirical singular subspaces and true singular subspaces. Our method allows obtaining arbitrary $k$-th order approximation of the expected projection distance. Third, we prove the non-asymptotical normal approximation of the projection distance with different levels of bias corrections. By the $\lceil \log(d_1+d_2) ceil$-th order bias corrections, the asymptotical normality holds under optimal signal-to-noise ration (SNR) condition where $d_1$ and $d_2$ denote the matrix sizes. In addition, it shows that higher order approximations are unnecessary when $|d_1-d_2|=O((d_1+d_2)^{1/2})$. Finally, we provide comprehensive simulation results to merit our theoretic discoveries. Unlike the existing results, our approach is non-asymptotical and the convergence rates are established. Our method allows the rank $r$ to diverge as fast as $o((d_1+d_2)^{1/3})$. Moreover, our method requires no eigen-gap condition (except the SNR) and no constraints between $d_1$ and $d_2$.

研究の動機と目的

• ノイズ行列が独立同分布の要素を持つ場合に、標本的および真の特異部分空間間の射影距離に対する非漸近的正規近似を開発すること。
• 決定的摂動に対して有効な、標本固有射影子の明示的表現公式を導出すること。
• 固有値ギャップの仮定を避ける新しい手法を用いて、期待射影距離の任意の順序近似を計算すること。
• 最適な信号対ノイズ比のもとで、$ \rceil \log(d_1 + d_2) \lceil $-階バイアス補正を用いて射影距離の漸近的正規性を確立すること。
• $ |d_1 - d_2| = O((d_1 + d_2)^{1/2}) $ の場合に高階近似が不要であることを示し、包括的なシミュレーションにより結果を検証すること。

提案手法

• 行列摂動理論を用いて、決定的行列摂動に対して有効な標本固有射影子の明示的表現公式を導出する。
• 母関数と組合せ的恒等式を用いて、射影距離の高階モーメントを計算し、期待距離の任意の $ k $-階近似を可能にする。
• 最適な信号対ノイズ比のもとで、射影距離の漸近的正規性を達成するために $ \lceil \log(d_1 + d_2) \rceil $-階バイアス補正を適用する。
• モーメント生成関数とエルミート多項式展開を用いて、有限標本における射影距離の分布を分析する。
• 固有値ギャップの条件を必要とせず、信号対ノイズ比に依存するのみで、正規近似の収束速度を確立する。
• ランダム行列理論とスペクトル摂動技術を用いて、独立同分布のノイズ行列下での特異部分空間の挙動を分析する。

実験結果

リサーチクエスチョン

• RQ1 独立同分布のノイズのもとで、標本的および真の特異部分空間間の射影距離に対する非漸近的正規近似を確立できるか？
• RQ2 射影距離の漸近的正規性を達成するために必要なバイアス補正の最適な次数は何か？
• RQ3 正規近似の収束速度は、行列次元 $ d_1 $ および $ d_2 $、およびランク $ r $ にどのように依存するか？
• RQ4 射影距離のバイアス補正において、高階近似を回避できる条件は何か？
• RQ5 信号対ノイズ比は、正規近似の妥当性および正確性を決定づける役割を果たすか？

主な発見

• 本稿は、$ \lceil \log(d_1 + d_2) \rceil $-階バイアス補正を用いる場合、最適な信号対ノイズ比条件下で射影距離の漸近的正規性が成立することを証明している。
• 期待射影距離は任意の $ k $-階近似が可能であり、母関数と組合せ的恒等式を用いて明示的な公式が導出されている。
• 正規近似の収束速度が有限標本において確立されており、結果は非漸近的かつ実用的応用が可能である。
• 本手法により、ランク $ r $ が $ o((d_1 + d_2)^{1/3}) $ の割合で増加することを許容でき、これは与えられたノイズモデル下で最適である。
• 固有値ギャップの条件は不要で、信号対ノイズ比の条件のみが必要であり、先行研究と比較して仮定を著しく緩和している。
• シミュレーションにより理論的結果が検証されており、高階バイアス補正が精度を向上させ、$ |d_1 - d_2| = O((d_1 + d_2)^{1/2}) $ の場合に高階近似が不要であることが示されている。