[論文レビュー] Rank/Norm Regularization with Closed-Form Solutions: Application to Subspace Clustering

Yaoliang Yu, Dale Schuurmans|arXiv (Cornell University)|Feb 14, 2012

Sparse and Compressive Sensing Techniques参考文献 25被引用数 22

ひとこと要約

本稿は、Eckart-Young-Mirskyの定理をすべてのユニタリに不変なノルムへ一般化し、ランク／ノルム正則化問題に対する閉形式解を可能にした。この結果を部分空間クラスタリングに応用し、既存のLRRなどと比較して300倍以上高速な、単純で理論的に正当なアルゴリズムを提案した。

ABSTRACT

When data is sampled from an unknown subspace, principal component analysis (PCA) provides an effective way to estimate the subspace and hence reduce the dimension of the data. At the heart of PCA is the Eckart-Young-Mirsky theorem, which characterizes the best rank k approximation of a matrix. In this paper, we prove a generalization of the Eckart-Young-Mirsky theorem under all unitarily invariant norms. Using this result, we obtain closed-form solutions for a set of rank/norm regularized problems, and derive closed-form solutions for a general class of subspace clustering problems (where data is modelled by unions of unknown subspaces). From these results we obtain new theoretical insights and promising experimental results.

研究の動機と目的

• すべてのユニタリに不変なノルムへEckart-Young-Mirskyの定理を一般化し、Frobeniusノルムやトレースノルムにとどまらない、低ランク近似の理論的基盤を拡張すること。
• 一般化された定理を根拠として、ランク関数と任意のユニタリに不変なノルムを含む広範なランクおよびノルム正則化最適化問題の閉形式解を導出すること。
• これらの理論的結果を部分空間クラスタリングに応用し、部分空間を同時に推定し、データポイントをクラスタリングする単純で効率的なアルゴリズムを開発すること。
• これらの新しいアルゴリズムが、LRR や SSC などの最先端手法と同等の性能を達成するが、計算コストを著しく削減できることを示すこと。
• 独立部分空間仮定の下で、さまざまなユニタリに不変なノルム（トレース、Frobenius、スペクトルノルムなど）を部分空間クラスタリングに用いる理論的根拠を提供すること。

提案手法

• ユニタリに不変なノルムのすべてに対してEckart-Young-Mirskyの定理を一般化し、任意のノルムにおいて、行列の最良の低ランク近似が、特異値分解（SVD）を上位k個の特異値に切り詰めることで得られることを証明した。
• 一般化された定理を根拠として、ランク関数と任意のユニタリに不変なノルムを含む最適化問題の閉形式解を導出する。
• 閉形式解を部分空間クラスタリングに応用し、再構成行列上のランク関数とユニタリに不変なノルム（例：トレースノルムやFrobeniusノルム）の組み合わせを最小化する問題に定式化した。
• SVDによる閉形式解を用いて、それぞれトレースノルム、Frobeniusノルム、スペクトルノルムに基づく新しいアルゴリズム族（DSSIM, CSSIM, SSIM）を提案した。
• 閉形式解から得られる再構成行列 $ Z $ を用いて、類似度行列 $ W_{ij} = |Z_{ij}| + |Z_{ji}| $ を構築し、その後標準的なスペクトルクラスタリングを実行して最終的なセグメンテーションを達成した。
• 各手法で1回のSVD呼び出しで済ませ、反復的最適化を回避した。これにより、LRRが1回の実行で約300回のSVDを必要とするのに対し、計算コストを著しく削減した。

実験結果

リサーチクエスチョン

• RQ1 Eckart-Young-Mirskyの定理は、Frobeniusノルムやトレースノルムに限らず、すべてのユニタリに不変なノルムへ一般化可能か？
• RQ2 すべてのユニタリに不変なノルムにおいて、ランク／ノルム正則化最適化問題に閉形式解が存在するか？その解は何か？
• RQ3 これらの閉形式解は、部分空間クラスタリング問題に効果的に応用可能であり、単純で高速かつ正確なアルゴリズムを生み出すことができるか？
• RQ4 実世界のデータにおいて、異なるユニタリに不変なノルム（例：トレース、Frobenius、スペクトル）に基づくアルゴリズムの性能と計算コストは、どのように比較されるか？
• RQ5 独立部分空間仮定の下で、提案されたアルゴリズムは理論的に正しく、ノイズに強く、LRR や SSC などの既存の最先端手法と比較してどのように差をつけるか？

主な発見

• すべてのユニタリに不変なノルムに対して一般化されたEckart-Young-Mirskyの定理が成り立つ。これは、最良の低ランク近似が常に上位k個の特異値に切り詰めたSVDによって達成されることを示している。
• トレースノルム、Frobeniusノルム、スペクトルノルムを含む、ランクおよびノルム正則化問題の一般クラスについて、閉形式解が導出された。
• 0%ノイズの合成データでは、SIMを含むすべての手法が完璧なセグメンテーションを達成し、理想的なノイズレス状況下での理論的正しさを確認した。
• ノイズがある状況（例：30–70%の欠損点）では、DSSIMとCSSIMがSIMや他の手法を上回り、CSSIM（トレースノルム）がSSIM（Frobeniusノルム）よりわずかに高い精度を示した。
• LRRは他の手法と比べて著しく遅く、1回の実行で約300回のSVDを必要とした。一方、DSSIM、CSSIM、SSIM、SIMはそれぞれ1回のSVDで済ませ、計算コストが桁違いに低かった。
• Hopkins155モーションセグメンテーションベンチマークでは、最良の手法（CSSIM）が正則化パラメータ $ \theta $ を各シーケンスごとに最適化した場合、99.29%の精度を達成し、最小限の計算コストで最先端性能に近づいた。