[論文レビュー] A Schatten-$q$ Low-rank Matrix Perturbation Analysis via Perturbation Projection Error Bound

Yuetian Luo, Rungang Han+1 more|arXiv (Cornell University)|Aug 4, 2020

Sparse and Compressive Sensing Techniques参考文献 53被引用数 5

ひとこと要約

本稿は、加法的摂動下における低ランク行列推定における切り捨て特異値分解を用いた、シャープなシュタイン-$q$ノルムの境界を導出する。残留部分空間に対する新しい摂動射影誤差境界を導入することで、古典的な境界よりもきめ細かく誤差を制御でき、摂動行列 $\mathbf{Z}_{\text{max}(r)}$ の最良のランク-$r$ 近似に明示的な依存関係を持つ。

ABSTRACT

This paper studies the Schatten-$q$ error of low-rank matrix estimation by singular value decomposition under perturbation. We specifically establish a perturbation bound on the low-rank matrix estimation via a perturbation projection error bound. Then, we establish lower bounds to justify the tightness of the upper bound on the low-rank matrix estimation error. We further develop a user-friendly sin$Θ$ bound for singular subspace perturbation based on the matrix perturbation projection error bound. Finally, we demonstrate the advantage of our results over the ones in the literature by simulation.

研究の動機と目的

• 加法的摂動下における低ランク行列推定におけるシュタイン-$q$ノルム誤差 $\u005c|\u005cwidehat{\u005cmathbf{A}} - \u005cmathbf{A}\|_q$ のよりきつい上界を確立すること。
• 残留部分空間 $P_{\u005cwidehat{\u005cmathbf{U}}_{\perp}}\mathbf{A}$ のための新しい摂動射影誤差境界 $\|P_{\u005cwidehat{\u005cmathbf{U}}_{\perp}}\mathbf{A}\|_q$ を開発すること、これが主要な技術的ツールである。
• 新しい射影誤差境界に基づいて、特異部分空間の摂動に対する使いやすい sin-$\Theta$ 界を導出すること。
• 理論的下界と数値シミュレーションを通じて、提案された境界が既存の結果を上回ることを示すこと。

提案手法

• 残留部分空間のための新しい摂動射影誤差境界を用いて、$\|\u005cwidehat{\u005cmathbf{A}} - \u005cmathbf{A}\|_q$ の上界を導出する。
• 境界 $\|\u005cwidehat{\u005cmathbf{A}} - \u005cmathbf{A}\|_q \leq \left\| \u005c mathbf{Z}_{\u005ctext{max}(r)} \right\|_q \cdot C_q$ を確立し、ここで $C_q = (2^q + 1)^{1/q}$ for $1 \leq q \leq 2$、$\sqrt{5}$ for $2 \leq q < \infty$、$2$ for $q = \infty$。
• Eckart-Young-Mirskyの定理とノルム不等式を用いて、推定誤差を摂動の最良のランク-$r$ 近似と関連付ける。
• 比較のための基準として Wedin の $\sin\Theta$ 定理を用い、新しい射影誤差フレームワークを用いて、sin-$\Theta$ 界の改良版を導出する。
• 行列分解技術を用いて、摂動が残留部分空間誤差に与える寄与を分離する。
• モンテカルロシミュレーションを用いて、行列次元、ランク、特異値の減衰パターン（多項式および指数関数的）を変化させた場合に理論的境界を検証する。

実験結果

リサーチクエスチョン

• RQ1 加法的摂動下における切り捨てSVDによる低ランク行列推定において、シュタイン-$q$ノルムのよりきつい境界を導出可能か？
• RQ2 低ランク近似の誤差は、摂動行列 $\mathbf{Z}$ の最良のランク-$r$ 近似にどのように依存するか？
• RQ3 古典的な sin-$\Theta$ 定理を用いたものよりも、摂動射影誤差 $\|P_{\u005cwidehat{\u005cmathbf{U}}_{\perp}}\mathbf{A}\|_q$ をきめ細かく境界づけられるか？
• RQ4 特異値が急速に減衰する悪条件の行列において、提案された境界は依然としてきついのか？
• RQ5 有限標本設定において、提案された境界は古典的境界（例：Wedinの定理や直接的なノルム不等式）とどのように比較されるか？

主な発見

• $1 \leq q \leq 2$ の場合、提案された上界 $\|\u005cwidehat{\u005cmathbf{A}} - \u005cmathbf{A}\|_q \leq (2^q + 1)^{1/q} \|\mathbf{Z}_{\u005ctext{max}(r)}\|_q$ は、Eckart-Youngの定理から得られる古典的境界 $2\|\mathbf{Z}\|_q$ よりも厳密にきつい。
• $q = 2$ の場合、境界は $\|\u005cwidehat{\u005cmathbf{A}} - \u005cmathbf{A}\|_F \leq \sqrt{5} \|\mathbf{Z}_{\u005ctext{max}(r)}\|_F$ に簡略化され、$\|\mathbf{Z}_{\u005ctext{max}(r)}\|_F \ll \|\mathbf{Z}\|_F$ のとき、$2\|\mathbf{Z}\|_F$ の境界よりも著しくきつい。
• シミュレーション結果から、$n$ が 100 から 300 に増加するに従い、提案された境界は安定している一方、古典的境界 $2\|\mathbf{Z}\|_F$ は、全摂動ノルムに依存するため著しく増加することが分かった。
• 新しい摂動射影誤差境界 $\|P_{\u005cwidehat{\u005cmathbf{U}}_{\perp}}\mathbf{A}\|_q$ は、Wedin の $\sin\Theta$ 定理から得られる境界よりも著しくきつい。特に指数関数的特異値減衰下で顕著である。
• 提案された sin-$\Theta$ 界は、既存のバージョンよりもきめ細かく、特に最小特異値が小さい悪条件設定においてより頑健である。
• 理論的下界は、上界のきつさを確認しており、追加の仮定なしに、提案された境界を著しく改善することはできないことを示している。