[論文レビュー] Adapting to Unknown Noise Distribution in Matrix Denoising

Andrea Montanari, Feng Ruan+1 more|arXiv (Cornell University)|Oct 6, 2018

Random Matrices and Applications参考文献 29被引用数 8

ひとこと要約

本稿では、ノイズ分布の事前知識がなくても最小最大推定誤差を達成する適応的行列ノイズ除去手法を提案する。フィッシャー情報とデータ駆動型非線形性を活用することで、未知のi.i.d.ノイズに適応し、低ランク行列の弱い復元を、情報理論的に最適な閾値 $(mn)^{1/4} \mathrm{I}_W^{1/2}$ まで可能にし、高次元極限において理論的下界と一致する。

ABSTRACT

We consider the problem of estimating an unknown matrix $\boldsymbol{X}\in {\mathbb R}^{m imes n}$, from observations $\boldsymbol{Y} = \boldsymbol{X}+\boldsymbol{W}$ where $\boldsymbol{W}$ is a noise matrix with independent and identically distributed entries, as to minimize estimation error measured in operator norm. Assuming that the underlying signal $\boldsymbol{X}$ is low-rank and incoherent with respect to the canonical basis, we prove that minimax risk is equivalent to $(\sqrt{m}\vee\sqrt{n})/\sqrt{I_W}$ in the high-dimensional limit $m,n o\infty$, where $I_W$ is the Fisher information of the noise. Crucially, we develop an efficient procedure that achieves this risk, adaptively over the noise distribution (under certain regularity assumptions). Letting $\boldsymbol{X} = \boldsymbol{U}{\boldsymbolΣ}\boldsymbol{V}^{\sf T}$ --where $\boldsymbol{U}\in {\mathbb R}^{m imes r}$, $\boldsymbol{V}\in{\mathbb R}^{n imes r}$ are orthogonal, and $r$ is kept fixed as $m,n o\infty$-- we use our method to estimate $\boldsymbol{U}$, $\boldsymbol{V}$. Standard spectral methods provide non-trivial estimates of the factors $\boldsymbol{U},\boldsymbol{V}$ (weak recovery) only if the singular values of $\boldsymbol{X}$ are larger than $(mn)^{1/4}{ m Var}(W_{11})^{1/2}$. We prove that the new approach achieves weak recovery down to the the information-theoretically optimal threshold $(mn)^{1/4}I_W^{1/2}$.

研究の動機と目的

• ノイズ分布が未知でもi.i.d.で有限のフィッシャー情報を持つ場合の行列ノイズ除去の課題に対処すること。
• 低ランク行列推定における標準的スペクトル法と情報理論的に最適な回復閾値の間のギャップを埋めること。
• ノイズ分布の知識を必要としない、効率的で適応的な手順を構築し、最小最大リスクを達成すること。
• 高次元極限 $m,n \to \infty$ において、最適推定誤差が $(\sqrt{m} \vee \sqrt{n}) / \sqrt{\mathrm{I}_W}$ であることを確立すること。

提案手法

• ノイズ分布のモーメント制約の下で推定誤差を最小化する非線形関数 $f_W(x)$ を、スコア関数 $-p_W'(x)/p_W(x)$ に基づいてデータに適応的に構築する。
• ノイズ構造の代理としてフィッシャー情報 $\mathrm{I}_W = \int \frac{(p_W')^2}{p_W} dx$ を用いることで、分布に依存しない推定が可能になる。
• 観測行列 $\boldsymbol{Y} = \boldsymbol{X^+} + \boldsymbol{W}$ に対して、成分ごとの非線形ノイズ除去器 $f(\boldsymbol{Y})$ を適用し、$\mathbb{E}[f(W)] = 0$ および $\mathbb{E}[f'(W)] = 1$ を満たすように $f$ を選ぶ。
• この手法により、推定誤差 $\mathbb{E}[\|\hat{\boldsymbol{X}} - \boldsymbol{X}\|_{\rm op}] = (\sqrt{m} \vee \sqrt{n}) \cdot \mathrm{I}_W^{-1/2} + O(1)$ を達成でき、最小最大下界と一致することが示された。
• 未知のノイズ分布に対してもロバストであり、特異ベクトル $\boldsymbol{U}, \boldsymbol{V}$ の弱い復元が、最適閾値 $ (mn)^{1/4} \mathrm{I}_W^{1/2} $ まで可能である。

実験結果

リサーチクエスチョン

• RQ1 ノイズ分布を事前に知らない状態でも、行列ノイズ除去において最小最大推定誤差を達成できるか？
• RQ2 未知のノイズを持つ低ランク行列推定において、情報理論的に最適な回復閾値は実際の手法で達成可能か？
• RQ3 ノイズ分布を知るオラクルに匹敵する性能を達成できる、データ駆動型で適応的なノイズ除去手順は構築可能か？
• RQ4 未知のi.i.d.ノイズ下での低ランク行列要因の弱い復元の根本的限界は何か？
• RQ5 フィッシャー情報 $\mathrm{I}_W$ は、高次元行列ノイズ除去における最小最大リスクを完全に特徴づけるか？

主な発見

• 低ランクおよび非一様性の仮定の下で、高次元極限 $m,n \to \infty$ において、行列ノイズ除去の最小最大リスクは $ (\sqrt{m} \vee \sqrt{n}) / \sqrt{\mathrm{I}_W} $ である。
• 提案手法は、$p_W$ に関する正則性条件の下で、ノイズ分布の事前知識がなくてもこの最小最大リスクを達成する。
• 特異ベクトル $\boldsymbol{U}, \boldsymbol{V}$ の弱い復元は、閾値 $ (mn)^{1/4} \mathrm{I}_W^{1/2} $ まで可能であり、これは情報理論的に最適である。
• 標準的スペクトル法は、閾値 $ (mn)^{1/4} \mathrm{Var}(W_{11})^{1/2} $ 未満で失敗するが、本手法はよりタイトな $ \mathrm{I}_W^{1/2} $ 閾値を達成する。
• 本手法は効率的であり、スコア関数から導かれる非線形性に基づいており、フィッシャー情報の一致により最適推定誤差を達成する。