[論文レビュー] The Sup-norm Perturbation of HOSVD and Low Rank Tensor Denoising

Dong Xia, Fan Zhou|arXiv (Cornell University)|Jul 5, 2017

Tensor decomposition and applications被引用数 18

ひとこと要約

本稿は、i.i.d. ガウスノイズ下でのテンソルのハイパーレンジ・特異値分解（HOSVD）に対する鋭いノルム内ノイズバウンドを確立し、最適なエントリごとの誤差率を達成する推定器を導入する。また、高次元ガウス混合モデルにおける正確なクラスタリングや部分テンソル局在におけるサポート回復といった統計的学習タスクにおいて、従来にない段階的転移が生じることを明らかにする。

ABSTRACT

The higher order singular value decomposition (HOSVD) of tensors is a generalization of matrix SVD. The perturbation analysis of HOSVD under random noise is more delicate than its matrix counterpart. Recently, polynomial time algorithms have been proposed where statistically optimal estimates of the singular subspaces and the low rank tensors are attainable in the Euclidean norm. In this article, we analyze the sup-norm perturbation bounds of HOSVD and introduce estimators of the singular subspaces with sharp deviation bounds in the sup-norm. We also investigate a low rank tensor denoising estimator and demonstrate its fast convergence rate with respect to the entry-wise errors. The sup-norm perturbation bounds reveal unconventional phase transitions for statistical learning applications such as the exact clustering in high dimensional Gaussian mixture model and the exact support recovery in sub-tensor localizations. In addition, the bounds established for HOSVD also elaborate the one-sided sup-norm perturbation bounds for the singular subspaces of unbalanced (or fat) matrices.

研究の動機と目的

• テンソルノイズ除去における確率的ノイズ下でのHOSVDに対するノルム内ノイズ解析の欠如に対処すること。
• ユークリッドノルムの結果を改善する、特異部分空間推定器のノルム内での鋭い偏差バウンドを導出すること。
• エントリごとの誤差指標に基づく低ランクテンソルノイズ除去の統計的性能を調査すること。
• 正確なクラスタリングやサポート回復といった高次元統計的学習タスクにおける、非従来の段階的転移を解明すること。
• HOSVD解析を用いて、ノルム内バウンドを非対称（または太った）行列へと拡張すること。

提案手法

• 行列濃度不等式とスペクトルノルム制御を用いて、HOSVDのノルム内ノイズバウンドを導出する。
• ナイーブなSVDの改良として、パワー反復法に基づく特異部分空間推定器を導入し、統計的に最適な推定器を達成する。
• 行列ベルシュタイン不等式と確率的行列理論を用いて、テンソル展開におけるノイズ成分の作用素ノルムを制御する。
• 特異部分空間の差に起因するノイズ寄与の分解を用いて、ノイズ除去テンソルのエントリごとの誤差を分析する。
• 特異ベクトルのスパarsityを定量化し、ノルム内偏差を制御するために、コherenceパラメータ $\mu_{\mathbf{U}}, \mu_{\mathbf{V}}, \mu_{\mathbf{W}}$ を用いる。
• 次元 $d$ と信号対ノイズ比の対数的要因を含む高確率的バウンドを用いて、エントリごとの誤差 $|\langle \widetilde{\mathbf{A}} - \mathbf{A}, \mathbf{e}_i \otimes \mathbf{e}_j \otimes \mathbf{e}_k \rangle|$ を確立する。

実験結果

リサーチクエスチョン

• RQ1 i.i.d. ガウスノイズ下でのHOSVDにより得られる特異部分空間の鋭いノルム内ノイズバウンドは何か？
• RQ2 低ランクテンソルノイズ除去推定器のエントリごとの誤差は、次元 $d$、ランク $r$、ノイズ分散 $\sigma^2$ とどのようにスケーリングされるか？
• RQ3 ノルム内挙動に起因する、正確なクラスタリングやサポート回復といった統計的学習タスクにおける段階的転移は何か？
• RQ4 HOSVDのノルム内解析により、非対称行列の特異部分空間に対する片側バウンドが得られるか？
• RQ5 コherenceパラメータ $\mu_{\mathbf{U}}, \mu_{\mathbf{V}}, \mu_{\mathbf{W}}$ はノルム内偏差を制御するために果たす役割は何か？

主な発見

• 高確率的に、ノイズ除去テンソル $\widetilde{\mathbf{A}}$ のノルム内誤差は $O_{p}\big(\sigma r^{3} \big( \frac{\sigma \widetilde{\kappa}(\mathbf{A})}{\bar{g}_{\min}(\mathbf{A})} + \frac{\widetilde{\kappa}^{2}(\mathbf{A})}{d} \big) \mu_{\mathbf{U}}\mu_{\mathbf{V}} + \cdots \big)$ で抑えられる。
• エントリごとの誤差バウンドは $O_{p}\big(\frac{\sigma r^{2}}{d^{1/2}} \cdot \frac{\sigma \overline{\Lambda}(\mathbf{A}) r + \sigma^{2} d r}{\bar{g}_{\min}^{2}(\mathbf{A})} \mu_{\mathbf{U}}\mu_{\mathbf{V}}\mu_{\mathbf{W}} \log^{3/2}d \big)$ とスケーリングされ、信号強度とコherenceの影響が反映される。
• 正確なクラスタリングやサポート回復における段階的転移は、ノルム内挙動を通じて明らかになり、古典的なユークリッドノルム解析とは異なる。
• バウンドは、HOSVDに基づく推定器が、高次元設定下でもエントリごとの誤差において高速収束率を達成できることを示唆する。
• 非対称行列の特異部分空間に対する片側ノルム内ノイズバウンドは、テンソル解析の副産物として確立される。
• 解析により、$\bar{g}_{\min}(\mathbf{A}) \gtrsim \sigma d^{3/4}$ であれば、摂動が制御され、鋭い偏差バウンドが得られることを示す。