[論文レビュー] A Perturbation Inequality for the Schatten-$p$ Quasi-Norm and Its Applications to Low-Rank Matrix Recovery

Man–Chung Yue, Anthony Man–Cho So|arXiv (Cornell University)|Sep 3, 2012

Sparse and Compressive Sensing Techniques参考文献 31被引用数 4

ひとこと要約

この論文は、シュターン $p$-準ノルムに関する基本的な摂動不等式を確立し、2つの行列の特異値の $p$ 乗の絶対差の和が、それらの差の特異値の $p$ 乗の和で有界であることを証明している。この結果により、低ランク行列回復におけるシュターン $p$-準ノルムヒューリスティックの長年の予想された回復条件が裏付けられ、その性能に関する厳密な理論的分析が可能になり、スparserベクトル回復の技術が低ランク行列設定へと拡張された。

ABSTRACT

In this paper, we establish the following perturbation result concerning the singular values of a matrix: Let $A,B \in \mathbb{R}^{m imes n}$ be given matrices, and let $f:\mathbb{R}_+ ightarrow\mathbb{R}_+$ be a concave function satisfying $f(0)=0$. Then, we have $$ \sum_{i=1}^{\min\{m,n\}} \big| f(σ_i(A)) - f(σ_i(B)) \big| \le \sum_{i=1}^{\min\{m,n\}} f(σ_i(A-B)), $$ where $σ_i(\cdot)$ denotes the $i$--th largest singular value of a matrix. This answers an open question that is of interest to both the compressive sensing and linear algebra communities. In particular, by taking $f(\cdot)=(\cdot)^p$ for any $p \in (0,1]$, we obtain a perturbation inequality for the so--called Schatten $p$--quasi--norm, which allows us to confirm the validity of a number of previously conjectured conditions for the recovery of low--rank matrices via the popular Schatten $p$--quasi--norm heuristic. We believe that our result will find further applications, especially in the study of low--rank matrix recovery.

研究の動機と目的

• 凹関数に対する特異値摂動不等式の正当性に関する行列解析および圧縮センシング分野における未解決問題を解決すること。
• 特に $p \in (0,1)$ の場合に、低ランク行列回復におけるシュターン $p$-準ノルムヒューリスティックの理論的基盤を確立すること。
• 従来の予想された、ヌル空間および制限等方性に基づく回復条件が、シュターン $p$-準ノルム最小化問題において成立することを確認すること。
• 新しい特異値不等式を用いて、スパース回復における $\ell_p$-最小化の技術を行列設定へと拡張すること。
• 低ランク行列回復アルゴリズムの性能とロバストネスを分析するための厳密な数学的ツールを提供すること。

提案手法

• 任意の凹関数 $f$ について $f(0) = 0$ を満たす場合に、$\sum_i |f(\sigma_i(A)) - f(\sigma_i(B))| \leq \sum_i f(\sigma_i(A - B))$ が成り立つ一般摂動不等式を導出する。
• この不等式を $f(x) = x^p$（$p \in (0,1]$）に適用し、シュターン $p$-準ノルムに対する摂動バウンドを導出する。
• この不等式を用いて、低ランク行列の正確な回復のための必要十分なヌル空間条件を確立する。
• 結果を応用して、制限等方性および制限 $p$-等方性の性質に基づく回復条件を導出する。
• 既知のスパース回復および行列解析の結果を活用し、$\ell_p$-ベースの回復理論を行列設定へと翻訳する。
• 行列理論、特異値分解、凸解析の道具を用いて、主な不等式およびその帰結を証明する。

実験結果

リサーチクエスチョン

• RQ1 すべての $A, B \in \mathbb{R}^{m \times n}$ および $p \in (0,1)$ に対して、摂動不等式 $\sum_i |\sigma_i^p(A) - \sigma_i^p(B)| \leq \sum_i \sigma_i^p(A - B)$ が成立するか？
• RQ2 この不等式を用いて、シュターン $p$-準ノルム最小化による低ランク行列の正確な回復の十分条件を導出できるか？
• RQ3 この不等式を用いることで、スパース回復における $\ell_p$-最小化の回復理論をどの程度行列設定へと適応できるか？
• RQ4 この不等式は、低ランク行列回復における制限等方性およびヌル空間性質にどのような意味を持つのか？
• RQ5 コンジェクチャーブ 1 が示唆するように、特異値の部分和についてもこの結果を一般化できるか？

主な発見

• この論文は、$f(0) = 0$ を満たす任意の凹関数 $f$ に対して、$\sum_i |f(\sigma_i(A)) - f(\sigma_i(B))| \leq \sum_i f(\sigma_i(A - B))$ が成り立つことを証明し、行列解析分野における未解決問題を解決した。
• 関数 $f(x) = x^p$ を用いることで、シュターン $p$-準ノルムに対する有効な摂動不等式が確立され、低ランク行列回復における重要な予想が裏付けられた。
• この不等式により、シュターン $p$-準ノルムヒューリスティックを用いた低ランク行列の正確な回復のための必要十分なヌル空間条件が導出可能になった。
• 本論文では、2つの新しい回復条件を確立した。1つは制限等方性定数 $\alpha_{2k}$ に基づくもので、もう1つは制限 $p$-等方性定数 $\beta_{p,ak}$ に基づくもので、両者とも明示的なパrameter制約のもとで成り立つ。
• パラメータ $p < 1.0873 \times (1 - \alpha_{2k})$ の場合、$\mathcal{A}$ が順序 $2k$ の制限等方性を満たしていれば、正確な回復が保証される。
• パrameter $a = \lceil b^{2/(2-p)}k \rceil / k$ を用い、$\beta_{p,ak} + b\beta_{p,(a+1)k} < b - 1$ が成り立つ場合、制限 $p$-等方性条件のもとで正確な回復が成立する。