[論文レビュー] CUR from a Sparse Optimization Viewpoint

Jacob Bien, Ya Xu+1 more|arXiv (Cornell University)|Nov 1, 2010

Sparse and Compressive Sensing Techniques参考文献 20被引用数 29

ひとこと要約

この論文は、CUR行列分解をスパース最適化問題として再定式化し、それが暗黙的にスパース構造を持つ回帰型目的関数を最適化することを明らかにした。非ランダム化・凸最適化に基づく変種（gl-Reg）と、CURのスパース構造を模倣するスパースPCA手法（gl-SPCA）を提案し、CURが直接スパースPCA手法として定式化できないことが示されたが、解釈可能性の目的は共通している。

ABSTRACT

The CUR decomposition provides an approximation of a matrix $X$ that has low reconstruction error and that is sparse in the sense that the resulting approximation lies in the span of only a few columns of $X$. In this regard, it appears to be similar to many sparse PCA methods. However, CUR takes a randomized algorithmic approach, whereas most sparse PCA methods are framed as convex optimization problems. In this paper, we try to understand CUR from a sparse optimization viewpoint. We show that CUR is implicitly optimizing a sparse regression objective and, furthermore, cannot be directly cast as a sparse PCA method. We also observe that the sparsity attained by CUR possesses an interesting structure, which leads us to formulate a sparse PCA method that achieves a CUR-like sparsity.

研究の動機と目的

• スパース最適化の観点からCUR分解を理解し、それがスパースPCA（SPCA）手法とどのように関係するかを明らかにすること。
• CURの背後にある暗黙の最適化目的を特定し、それがPCA型問題として直接表現できないことを示すこと。
• 非ランダム化・凸最適化に基づくCURの変種（gl-Reg）を構築し、そのスパース構造を保持すること。
• CURと同一のスパース構造を達成する新しいSPCA手法（gl-SPCA）を提案すること。
• CURのスパース性が、標準的なSPCA定式化では捉えきれない特徴的な構造を持っていることを示すこと。

提案手法

• CURが暗黙的に近似する組み合わせ最適化問題を定式化し、その背後にあるスパース回帰目的関数を明らかにした。
• gl-Reg（問題1）を提案し、CURの組み合わせ最適化問題の凸緩和として、核ノルムとl1正則化を用いてスパース性を促進した。
• gl-Regのための交互最適化アルゴリズムを導出。A（直交因子）とB（係数行列）の更新を交互に繰り返し、各ステップで閉形式解を得た。
• gl-SPCA（問題2）を導入。同じスパース性誘導ペナルティを埋め込むことで、CURと同一の列選択パターンをPCAフレームワークで実現した。
• 部分勾配方程式としきい値ルール（命題1）を用い、gl-Regにおける有効な列を、残差成分との相関に基づいて特定した。
• 2段階の交互アルゴリズムを採用：まず(X^T X)BのSVDによりAを計算し、次に残差相関と正則化に基づくソフトしきい値処理によりBを更新した。

実験結果

リサーチクエスチョン

• RQ1 CUR分解が暗黙的に解く最適化問題は何か？ そしてそれはスパース回帰とどのように関係するか？
• RQ2 CURを直接スパースPCA手法として表現できるか、それとも根本的に異なるメカニズムに依存しているか？
• RQ3 CURが誘導するスパース性の構造的性質は何か？ そして、その構造はスパースPCAフレームワークで再現可能か？
• RQ4 凸緩和を用いて非ランダム化・最適化ベースのCURのバージョンをどのように構築できるか？
• RQ5 CURと同一のスパース構造を達成しつつ解釈可能性を維持する新しいSPCA手法を設計できるか？

主な発見

• CURは、定理3により、PCA型目的関数ではなくスパース回帰目的関数を暗黙的に最適化している。これは、CURが直接スパースPCA手法として表現できないことを示している。
• CURにおけるスパース構造は構造的に特異的である—スパース性は個々の列の分散に基づくのではなく、低ランク近似への寄与度に基づいて決定される。
• 提案されたgl-Reg手法は、交互最小化による収束保証付きの非ランダム化・凸最適化ベースのCURの実装を達成した。
• gl-SPCA手法は、SPCAフレームワーク内でCURのスパース構造を効果的に再現でき、このようなスパース性がPCAに基づく最適化に埋め込めることが示された。
• 実験的評価により、gl-Regとgl-SPCAは、CURに類似したスパース性と再構成精度を標準的手法よりも優れて保持していることが示された。
• 本研究は、CURの成功が明示的なスパース制約ではなく、ランダム近似による暗黙の正則化に起因することを確立した。これはSPCAとは顕著に異なる点である。