[論文レビュー] Robust Matrix Decomposition with Outliers

Daniel Hsu, Sham M. Kakade+1 more|arXiv (Cornell University)|Nov 5, 2010

Sparse and Compressive Sensing Techniques参考文献 11被引用数 27

ひとこと要約

本稿では、外れ値が非ランダムに分布している場合でも、混合 $γ_1$ とトレースノルムの最小化を用いて、行列を低ランク成分とスパース成分に分解するロバストな行列分解手法を提案する。先行研究よりも強い回復保証を確立し、腐食されたエントリの定数分率まで許容可能であり、ランダムな外れ値パターンを仮定せず、微小な摂動に対してもロバストであることを示している。

ABSTRACT

Suppose a given observation matrix can be decomposed as the sum of a low-rank matrix and a sparse matrix (outliers), and the goal is to recover these individual components from the observed sum. Such additive decompositions have applications in a variety of numerical problems including system identification, latent variable graphical modeling, and principal components analysis. We study conditions under which recovering such a decomposition is possible via a combination of $\ell_1$ norm and trace norm minimization. We are specifically interested in the question of how many outliers are allowed so that convex programming can still achieve accurate recovery, and we obtain stronger recovery guarantees than previous studies. Moreover, we do not assume that the spatial pattern of outliers is random, which stands in contrast to related analyses under such assumptions via matrix completion.

研究の動機と目的

• 腐食された観測行列から低ランクおよびスパース行列成分を信頼性高く回復するための凸最適化フレームワークの開発。
• スパース構造に関する確率的仮定を必要としない、決定論的で非ランダムな外れ値パターン下での回復保証の確立。
• 凸緩和を用いた場合に、正確な回復を保証するための外れ値の最大数を定量化すること。
• 先行研究を改善し、より弱い構造的仮定のもとで、大きな行列においても定数分率のエントリが腐食されても問題なく対応可能であることを示すこと。
• 観測行列の微小な摂動に対しても回復手法のロバスト性を示すこと。

提案手法

• スパース成分のエントリごとの $\ell_1$-ノルムと低ランク成分のトレースノルムの和を最小化する凸最適化定式化を用いる。
• ノイズのある観測を扱い、安定性を向上させるために、フロベニウスノルムの適合項を含む正則化定式化を適用する。
• 誤差および解の成分を分解するために、射影作用素 $\mathcal{P}_{\bar{\Omega}}$、$\mathcal{P}_{\bar{T}}$ 及びそれらの直交補空間を用いる。
• 双対ノルム解析と $\alpha(\rho)$、$\beta(\rho)$、$\|\cdot\|_{\flat(\rho)}$ を用いた作用素ノルムの境界を導入し、回復誤差を制御する。
• レムマ5、レムマ10、およびレムマ15を用いて誤差境界を導出し、解のずれが摂動の大きさと構造的不整合性にどのように関連するかを明らかにする。
• トレースノルムの部分微分と $\ell_1$-ノルムの双対ノルムを含む双対性の議論により、回復を確立する。

実験結果

リサーチクエスチョン

• RQ1 低ランクおよびスパース成分の正確な回復を可能にするために、外れ値の最大数（数および分布の観点から）はどの程度まで許容可能か？
• RQ2 外れ値パターンがランダムまたは i.i.d. であると仮定しないで、ロバストな行列分解を達成できるか？
• RQ3 提案手法は、先行手法と比較して、腐食されたエントリの割合をどの程度まで処理できるか？
• RQ4 ランクとスパース性の最小化問題の凸緩和が真の分解をもたらすための条件は何か？
• RQ5 観測行列の微小な摂動に対して、回復はどの程度ロバストか？

主な発見

• 低ランク成分 $X_L$ が非スパースな特異ベクトルとランク $r \ll \min(m,n)$ を持つ場合、スパース成分 $X_S$ に $\Omega(mn)$ 個の非ゼロエントリを許容可能である。
• 観測行列 $Y$ の微小な摂動に対しても回復がロバストであり、誤差境界は $\|E\|_{\text{vec}(\infty)}$ および $\|\mathcal{P}_{\bar{\Omega}} \circ \mathcal{P}_{\bar{T}^\perp}(E)\|_{\text{vec}(\infty)}$ に比例する。
• 決定論的構造的条件下で正確な回復が達成可能である：$X_S$ がどの行や列に対してもあまりに密集してはいけず、$X_L$ の特異ベクトルがあまりにスパースであってはならない。
• 低ランク成分の $\|\cdot\|_{\flat(\rho)}$ ノルムにおける誤差境界は、トレースノルムにおけるものよりも著しくタイトであり、安定性の向上を示している。
• Chandrasekaran ら (2009) の分析を改善し、$X_S$ の非ゼロエントリの割合が行列サイズとともに消える必要がなくなった。
• $X_S$ にランダムなサポート仮定を必要としないため、外れ値が構造的に偏っている実世界の状況にも適用可能である。