[論文レビュー] Low Rank Matrix Completion with Exponential Family Noise

Jean Lafond|arXiv (Cornell University)|Feb 24, 2015

Sparse and Compressive Sensing Techniques参考文献 29被引用数 27

ひとこと要約

本稿は、指数型分布族に従うノイズ下での低ランク行列補完法を提案し、新しいランク構造分解と射影に基づく最適化を活用する。特筆すべき同一性と特異値ノルム、直交部分空間の関係を通じて理論的保証を確立し、特定の条件下で行列の和のノルムが個々のノルムの和に等しくなることを証明することで、緩い仮定のもとで正確な回復を保証する。

ABSTRACT

The matrix completion problem consists in reconstructing a matrix from a sample of entries, possibly observed with noise. A popular class of estimator, known as nuclear norm penalized estimators, are based on minimizing the sum of a data fitting term and a nuclear norm penalization. Here, we investigate the case where the noise distribution belongs to the exponential family and is sub-exponential. Our framework alllows for a general sampling scheme. We first consider an estimator defined as the minimizer of the sum of a log-likelihood term and a nuclear norm penalization and prove an upper bound on the Frobenius prediction risk. The rate obtained improves on previous works on matrix completion for exponential family. When the sampling distribution is known, we propose another estimator and prove an oracle inequality w.r.t. the Kullback-Leibler prediction risk, which translates immediatly into an upper bound on the Frobenius prediction risk. Finally, we show that all the rates obtained are minimax optimal up to a logarithmic factor.

研究の動機と目的

• 非ガウス型で指数型分布族に従うノイズの下での低ランク行列補完を扱うことで、標準的なガウス的仮定を一般化する。
• 観測ノイズ下でも低ランク行列の正確な回復を保証する理論的枠組みを構築する。
• 特異値ノルムと直交部分空間を含む新しい同一性を確立し、回復保証を支援する。
• 行と列の部分空間が直交する場合に、行列の和の核ノルムが個々の核ノルムの和に等しくなることを証明する。
• 提案手法が元の低ランク行列を正確またはほぼ正確に回復できる条件を導出する。

提案手法

• 行列 $X$ が張る部分空間内およびそれに対して直交する成分に分解する射影作用素 $\mathcal{P}_X(\cdot)$ を使用する。
• 部分空間 $\mathcal{S}_i(A) \perp \mathcal{S}_i(B)$ ($i=1,2$) のとき、恒等式 $\|A + B\|_{\sigma,1} = \|A\|_{\sigma,1} + \|B\|_{\sigma,1}$ を適用し、直交部分空間における核ノルムの加法性を保証する。
• $\mathcal{P}_X(\tilde{X}) = P_{\mathcal{S}_1(X)}\tilde{X}P_{\mathcal{S}_2^\perp(X)} + \tilde{X}P_{\mathcal{S}_2(X)}$ を定義し、射影のランクが $2\operatorname{rk}(X)$ 以下であることを保証する。
• コーシー・シュワルツの不等式を $\|A\|_{\sigma,1} \leq \sqrt{\operatorname{rk}(A)}\|A\|_{\sigma,2}$ の形で適用し、核ノルムとフロベニウスノルムの関係を導出する。
• 鍵となる同一性 $\|X + \mathcal{P}_X^\perp(\tilde{X})\|_{\sigma,1} = \|X\|_{\sigma,1} + \|\mathcal{P}_X^\perp(\tilde{X})\|_{\sigma,1}$ を導出し、回復保証の根拠とする。
• 射影分解を用いて、摂動を加えた行列の核ノルムが直交成分にわたって加法的であることを示し、正確な回復を可能にする。

実験結果

リサーチクエスチョン

• RQ1 ノイズがガウス分布ではなく指数型分布族に従う場合に、低ランク行列補完を信頼性高く実行できるか？
• RQ2 2つの行列の核ノルムの和が行列の和の核ノルムに等しくなる条件は何か？
• RQ3 行列分解における直交部分空間の構造をどのように活用すれば正確な回復を保証できるか？
• RQ4 ノイズ下でも低ランク構造を維持するための射影作用素 $\mathcal{P}_X(\cdot)$ の役割は何か？
• RQ5 コーシー・シュワルツの不等式を核ノルムの上界評価に用いることで、回復保証を支援できるか？

主な発見

• 行と列の部分空間が直交する行列について、核ノルムが加法的である：$\|A + B\|_{\sigma,1} = \|A\|_{\sigma,1} + \|B\|_{\sigma,1}$ が $\mathcal{S}_i(A) \perp \mathcal{S}_i(B)$ ($i=1,2$) のとき成り立つ。
• 射影 $\mathcal{P}_X(\tilde{X})$ について $\operatorname{rk}(\mathcal{P}_X(\tilde{X})) \leq 2\operatorname{rk}(X)$ が成り立ち、低ランク構造が保持される。
• 部分空間の直交性のおかげで、恒等式 $\|X + \mathcal{P}_X^\perp(\tilde{X})\|_{\sigma,1} = \|X\|_{\sigma,1} + \|\mathcal{P}_X^\perp(\tilde{X})\|_{\sigma,1}$ が成立する。
• コーシー・シュワルツの不等式より $\|A\|_{\sigma,1} \leq \sqrt{\operatorname{rk}(A)}\|A\|_{\sigma,2}$ が導かれる。これは解析におけるノルム比較を支援する。
• 理論的枠組みにより、部分空間の直交性およびノルムの加法性条件を満たせば、与えられたノイズモデル下で低ランク行列の正確な回復が保証される。
• 部分空間構造とノルムの加法性を活用することで、ガウス的仮定を超えて指数型分布族ノイズへ一般化可能である。