[論文レビュー] The Optimal Hard Threshold for Singular Values is 4/sqrt(3)

Matan Gavish, David L. Donoho|arXiv (Cornell University)|May 24, 2013

Sparse and Compressive Sensing Techniques参考文献 27被引用数 31

ひとこと要約

この論文は、白色ノイズ下での低ランク行列ノイズ除去における特異値の最適ハードスレッショルドを導出しており、正方行列の場合、漸近的に最適なスレッショルドはノイズレベル $\sigma$ の $4/\sqrt{3} \approx 2.309$ 倍であることを示している。この手法は漸近的平均二乗誤差（AMSE）を最小化し、Truncated SVD や他のスリッキングルールを上回り、未知のランクおよび未知のノイズレベルに最適に適応する。

ABSTRACT

We consider recovery of low-rank matrices from noisy data by hard thresholding of singular values, where singular values below a prescribed threshold $λ$ are set to 0. We study the asymptotic MSE in a framework where the matrix size is large compared to the rank of the matrix to be recovered, and the signal-to-noise ratio of the low-rank piece stays constant. The AMSE-optimal choice of hard threshold, in the case of n-by-n matrix in noise level σ, is simply $(4/\sqrt{3}) \sqrt{n}σ\approx 2.309 \sqrt{n}σ$ when $σ$ is known, or simply $2.858\cdot y_{med}$ when $σ$ is unknown, where $y_{med}$ is the median empirical singular value. For nonsquare $m$ by $n$ matrices with $m eq n$, these thresholding coefficients are replaced with different provided constants. In our asymptotic framework, this thresholding rule adapts to unknown rank and to unknown noise level in an optimal manner: it is always better than hard thresholding at any other value, no matter what the matrix is that we are trying to recover, and is always better than ideal Truncated SVD (TSVD), which truncates at the true rank of the low-rank matrix we are trying to recover. Hard thresholding at the recommended value to recover an n-by-n matrix of rank r guarantees an AMSE at most $3nrσ^2$. In comparison, the guarantee provided by TSVD is $5nrσ^2$, the guarantee provided by optimally tuned singular value soft thresholding is $6nrσ^2$, and the best guarantee achievable by any shrinkage of the data singular values is $2nrσ^2$. Empirical evidence shows that these AMSE properties of the $4/\sqrt{3}$ thresholding rule remain valid even for relatively small n, and that performance improvement over TSVD and other shrinkage rules is substantial, turning it into the practical hard threshold of choice.

研究の動機と目的

• i.i.d. 白色ノイズ下での低ランク行列ノイズ除去における特異値の最適ハードスレッショルドを特定すること。
• 未知の行列ランクおよび未知のノイズレベルに最適に適応するスレッショルドを確立すること。
• 特異値ハードスレッショング（SVHT）の漸近的平均二乗誤差（AMSE）を導出し、それを最小化するスレッショルドを同定すること。
• SVHT が最適スレッショルドで使用される場合、AMSE の保証において Truncated SVD（TSVD）、ソフトスレッショング、および他のすべてのスリッキングルールを上回ることを示すこと。
• ノイズレベルが既知および未知の場合の実用的スレッショルドルールを提供し、さまざまなノイズ分布で検証すること。

提案手法

• 行列サイズ $m,n \to \infty$ かつ $m/n \to \beta$ の大規模行列極限において、特異値ハードスレッショング（SVHT）の漸近的平均二乗誤差（AMSE）を導出する。
• 確率的行列理論を用いて、経験的特異値分布のバルクエッジを $(1 + \sqrt{\beta})\sqrt{n}\sigma$ として特徴付ける。
• AMSE を最小化する最適ハードスレッショルド $\lambda_*$ を同定し、$n \times n$ 行列では $\frac{4}{\sqrt{3}}\sqrt{n}\sigma$ であることを証明する。
• ノイズレベル $\sigma$ が不明な場合に使用可能な実用的スレッショルドルールを、経験的特異値の中央値を用いて導出する：$2.858 \cdot y_{\text{med}}$。
• SVHT が TSVD やソフトスレッショングと比較してどのように性能を発揮するかを分析し、$3nr\sigma^2$ のよりタイトな AMSE 界を達成することを示す。
• モンテカルロシミュレーションを用いて、ガウス分布、ベルヌーイ分布、一様分布、スチューデントのt分布のノイズに対して結果を検証し、AMSE を経験的 MSE と比較する。

実験結果

リサーチクエスチョン

• RQ1 白色ノイズ下での低ランク行列ノイズ除去における、漸近的平均二乗誤差（AMSE）を最小化する特異値の最適ハードスレッショルドは何か？
• RQ2 最適スレッショルドで使用される特異値ハードスレッショング（SVHT）の性能は、Truncated SVD（TSVD）、ソフトスレッショング、および他のスリッキングルールと比べてどうか？
• RQ3 未知の行列ランクおよび未知のノイズレベルに適応しつつ、最適な AMSE 性能を維持できるハードスレッショルドを導出できるか？
• RQ4 最適スレッショルドで使用される SVHT の理論的 AMSE 保証は何か？ また、任意のスリッキングルールが達成可能な最良の AMSE と比べてどうか？
• RQ5 最適スレッショルドは i.i.d. 白色ノイズ仮定からの逸脱に対してどれほどロバストか？ また、有限標本設定ではどのように性能を発揮するか？

主な発見

• ノイズレベル $\sigma$ が既知の場合、$n \times n$ 行列の最適ハードスレッショルドは $\lambda_* = \frac{4}{\sqrt{3}}\sqrt{n}\sigma \approx 2.309\sqrt{n}\sigma$ である。
• $\sigma$ が不明な場合、最適スレッショルドは $2.858 \cdot y_{\text{med}}$ であり、$y_{\text{med}}$ は経験的特異値の中央値である。
• 最適 SVHT は $3nr\sigma^2$ の AMSE 保証を達成し、最適に調整された TSVD の $5nr\sigma^2$ 界およびソフトスレッショングの $6nr\sigma^2$ 界を厳密に上回る。
• 有界な核ノルムを持つ行列に対して、すべてのハードスレッショングルールの中で最良の AMSE を達成する。
• 最適スレッショルドは一意的かつ許容可能であり、漸近的に他のいかなるハードスレッショングルールよりも優れた AMSE 性能を達成できない。
• 経験的結果は、ガウス分布やその他の多様なノイズ分布において、$n=50$ の中程度のサイズの行列でも TSVD や他のスリッキングルールを著しく上回ることを示している。