[論文レビュー] Robust Kernelized Multi-View Self-Representations for Clustering by Tensor Multi-Rank Minimization

Yanyun Qu, Jinyan Liu+2 more|arXiv (Cornell University)|Sep 15, 2017

Sparse and Compressive Sensing Techniques参考文献 14被引用数 5

ひとこと要約

本稿では、非線形部分空間を扱えるようにするため、データをカーネル誘導特徴空間にマッピングするカーネル化されたテンソル多重ランク最小化手法、Kt-SVD-MSCを提案する。t-SVD-MSCを拡張し、非線形部分空間を扱えるようにした。l_{2,1}ノルムの部分問題に対して閉形式解を有するADMMに基づく最適化により、最先端の性能を達成し、特に挑戦的とされるScene-15データセットにおいて、ほぼ完璧なクラスタリングスコア（NMI: 0.992、ACC: 0.990）を達成した。

ABSTRACT

Most recently, tensor-SVD is implemented on multi-view self-representation clustering and has achieved the promising results in many real-world applications such as face clustering, scene clustering and generic object clustering. However, tensor-SVD based multi-view self-representation clustering is proposed originally to solve the clustering problem in the multiple linear subspaces, leading to unsatisfactory results when dealing with the case of non-linear subspaces. To handle data clustering from the non-linear subspaces, a kernelization method is designed by mapping the data from the original input space to a new feature space in which the transformed data can be clustered by a multiple linear clustering method. In this paper, we make an optimization model for the kernelized multi-view self-representation clustering problem. We also develop a new efficient algorithm based on the alternation direction method and infer a closed-form solution. Since all the subproblems can be solved exactly, the proposed optimization algorithm is guaranteed to obtain the optimal solution. In particular, the original tensor-based multi-view self-representation clustering problem is a special case of our approach and can be solved by our algorithm. Experimental results on several popular real-world clustering datasets demonstrate that our approach achieves the state-of-the-art performance.

研究の動機と目的

• 既存のテンソルSVDに基づくマルチビュークラスタリング手法の制限を解決する。これらの手法は線形部分空間に限定されており、非線形データでは性能が劣る。
• 非線形構造が線形分離可能になる特徴空間にデータをマッピングするカーネル化フレームワークを構築する。
• テンソル多重ランク最小化を用いた、カーネル化されたマルチビュー自己表現クラスタリングの頑健な最適化モデルを定式化する。
• すべての部分問題に閉形式解を有する効率的なADMMベースのアルゴリズムを設計し、グローバル最適解への収束を保証する。
• 実世界の多様なデータセット、特に難易度の高いベンチマークであるScene-15を含む、優れた性能を示す。

提案手法

• 非線形部分構造を捉えるために、再生カーネルヒルバート空間で動作するテンソルSVDマルチビュー自己表現クラスタリングのカーネル化バージョン（Kt-SVD-MSC）を提案する。
• ノイズおよび外れ値に対して頑健性を高めるために、l_{2,1}-ノルム正則化を用いたテンソル多重ランク最小化を最適化問題として定式化する。
• 非滑らかな凸最適化問題を効率的に解くために、複数ブロックを用いた交替方向乗数法（ADMM）を適用する。
• 特にl_{2,1}ノルムを含むすべての部分問題に対して、閉形式解を導出することで、正確かつ高速な計算を実現する。
• 特徴空間における内積を明示的なマッピングなしに暗黙的に計算するカーネルトリックを活用し、計算効率を向上させる。
• カーネルを線形に設定することで、元のt-SVD-MSCが本手法の特殊ケースとして得られることを保証し、後方互換性を確保する。

実験結果

リサーチクエスチョン

• RQ1 カーネル化は、テンソルSVDに基づくマルチビュークラスタリングを非線形部分空間からのデータにまで拡張するのに効果的か？
• RQ2 テンソル多重ランク最小化を用いた本手法のカーネル化最適化モデルは、既存の線形および非線形マルチビュークラスタリング手法よりも優れたクラスタリング性能を示すか？
• RQ3 l_{2,1}部分問題に閉形式解を有するADMMベースのアルゴリズムは、カーネル化された設定でも高速かつ安定した収束を達成できるか？
• RQ4 本手法は、高難易度のクラスタリングを示すことで知られる、複雑な構造を持つベンチマークデータセット（例：Scene-15）において、どのように性能を発揮するか？
• RQ5 カーネル化アプローチは、線形手法と比較して、マルチビューデータのコンSENSUSおよび補完的性質をどの程度保持するか？

主な発見

• 提案手法Kt-SVD-MSCは、Scene-15データセットで最先端の性能を達成し、NMIが0.992、ACCが0.990、ARが0.983、Fスコアが0.984を記録し、比較手法を大きく上回った。
• Extended YaleBデータセットでは、NMIが0.893、ACCが0.896、Fスコアが0.832を達成し、顔クラスタリングタスクにおける強力な性能を示した。
• ORLデータセットでは、NMIが0.994、ACCが0.971、Fスコアが0.972を達成し、物体および顔認識タスクでほぼ完璧なクラスタリング結果を示した。
• COIL-20データセットでは、NMIが0.992、ACCが0.990、Fスコアが0.985を達成し、一般的な物体クラスタリングタスクにおいても高いロバスト性を確認した。
• 図5の収束曲線は、再構成誤差およびマッチング誤差が15イテレーション目までに急激に低下し、その後安定化することを示しており、アルゴリズムの高速収束を裏付けた。
• 線形カーネルを用いる場合、元のt-SVD-MSCが本手法の特殊ケースとして得られることから、理論的整合性およびより広範な適用可能性が確認された。