[論文レビュー] Closed-Form Solutions to A Category of Nuclear Norm Minimization Problems

Guangcan Liu, Ju Sun+1 more|arXiv (Cornell University)|Nov 22, 2010

Sparse and Compressive Sensing Techniques参考文献 7被引用数 5

ひとこと要約

本稿では、核ノルム最小化問題のクラス、特に低ランク表現（LRR）問題 $\min_Z \|Z\|_* \text{ s.t. } X = AZ$ に対する閉形式解を提示する。ユニタリ不変性と制約付き核ノルム最小化に関する重要な補題を証明することで、$Z^* = V_A(V_A^T V_A)^{-1}V_X^T$ という一意で解析的に取り扱える解が導出される。ここで $V_X$ と $V_A$ は $[X, A]$ のスリムSVDからの部分行列である。この結果により、反復的ソルバーを用いずに正確かつ効率的な低ランク表現の計算が可能になる。

ABSTRACT

It is an efficient and effective strategy to utilize the nuclear norm approximation to learn low-rank matrices, which arise frequently in machine learning and computer vision. So the exploration of nuclear norm minimization problems is gaining much attention recently. In this paper we shall prove that the following Low-Rank Representation (LRR) \cite{icml_2010_lrr,lrr_extention} problem: {eqnarray*} \min_{Z} orm{Z}_*, & {s.t.,} & X=AZ, {eqnarray*} has a unique and closed-form solution, where $X$ and $A$ are given matrices. The proof is based on proving a lemma that allows us to get closed-form solutions to a category of nuclear norm minimization problems.

研究の動機と目的

• 低ランク表現（LRR）に現れる $\min_Z \|Z\|_*$ を制約 $X = AZ$ で最小化する核ノルム最小化問題に対する閉形式解を確立すること。
• $X \in \mathrm{span}(A)$ の条件下で、解の一意性と解析的取り扱いやすさを証明すること。
• 線形等式制約を伴う核ノルム最小化問題のより広いクラスに一般化された解を得ること。
• 機械学習およびコンピュータビジョン分野における、正確で反復処理を伴わない低ランク表現の計算の理論的基盤を提供すること。

提案手法

• 正規直交行列 $U, V$ を用いた制約 $U^T Z V = M$ の下での $\min_Z \|Z\|_*$ が一意な閉形式解 $Z^* = U M V^T$ を持つことを示す、鍵となる補題（補題2.3）を導出する。
• LRR問題にこの補題を適用するため、$[X, A]$ のSVDを用いて制約 $X = AZ$ を正規直交行列を含む形に変換する。
• $[X, A] = U \Sigma V^T$ のSVDを $V = [V_X; V_A]$ に分割し、$X = U \Sigma V_X^T$ および $A = U \Sigma V_A^T$ となるようにする。
• 制約 $X = AZ$ が $V_A^T Z = V_X^T$ と同値であることを示し、正規化後に補題2.3の適用が可能になるようにする。
• 変換された制約と補題を用いて、閉形式解 $Z^* = V_A (V_A^T V_A)^{-1} V_X^T$ を導出する。
• 特殊ケースの確立：$A$ がフル行ランクのとき、$Z^* = A^T (AA^T)^{-1} X$ に簡略化される；$A = X$ のとき、$Z^* = V_X V_X^T$（形状相互作用行列）に簡略化される。

実験結果

リサーチクエスチョン

• RQ1 制約 $X = AZ$ の下で核ノルム最小化問題 $\min_Z \|Z\|_*$ は閉形式で解けるか？
• RQ2 解が制約 $X \in \mathrm{span}(A)$ を満たす場合に一意か？
• RQ3 ユニタリ不変性と制約付き最適化を用いて、線形等式制約を伴う核ノルム最小化問題の一般クラスを解析的に解くことができるか？
• RQ4 辞書 $A$ がフルランクでない場合、または $A = X$ の場合、解の解析的形は何か？
• RQ5 反復的ソルバーと比較して、この閉形式解は計算効率および精度の面でどのように向上するか？

主な発見

• 制約 $X = AZ$ の下でのLRR問題 $\min_Z \|Z\|_*$ は、$[X, A]$ のスリムSVDから得られる $V_X$ と $V_A$ を用いて、一意な閉形式解 $Z^* = V_A (V_A^T V_A)^{-1} V_X^T$ を持つ。
• 解は一意的かつ解析的に取り扱えるため、反復的最適化手法を必要としない。
• $A$ がフル行ランクのとき、解は $Z^* = A^T (AA^T)^{-1} X$ に簡略化され、一般化逆行列解となる。
• $A = X$ のとき、解は $Z^* = V_X V_X^T$ に簡略化され、既存の因子分解手法と整合する「形状相互作用行列（SIM）」として知られている。
• 証明は、正規直交行列 $U, V$ を用いた制約 $U^T Z V = M$ の下での $\min_Z \|Z\|_*$ が $Z^* = U M V^T$ を与えるという、鍵となる補題（補題2.3）に依存しており、他の問題へ一般化可能である。
• 本手法により、特にコンピュータビジョンおよび機械学習分野における大規模またはリアルタイム応用において、正確で反復処理を伴わない低ランク構造の回復が可能になる。