[論文レビュー] On Unifying Multi-View Self-Representations for Clustering by Tensor Multi-Rank Minimization

Yuan Xie, Dacheng Tao+4 more|arXiv (Cornell University)|Oct 23, 2016

Tensor decomposition and applications参考文献 46被引用数 7

ひとこと要約

本稿では、t-特異値分解（t-SVD）を用いたテンソル多重ランク最小化により、視点固有の自己表現を統合する、新しいマルチビュー部分空間クラスタリング手法t-SVD-MSCを提案する。複数の視点における部分空間表現をテンソルに積み重ね、t-SVDに基づく低ランク制約を適用することで、高次相関を効果的に捉え、視点間の一貫性を強化し、8つのベンチマークデータセットにおいて、理論的収束性と低計算コストを備えた最先端のクラスタリング性能を達成する。

ABSTRACT

In this paper, we address the multi-view subspace clustering problem. Our method utilizes the circulant algebra for tensor, which is constructed by stacking the subspace representation matrices of different views and then rotating, to capture the low rank tensor subspace so that the refinement of the view-specific subspaces can be achieved, as well as the high order correlations underlying multi-view data can be explored.} By introducing a recently proposed tensor factorization, namely tensor-Singular Value Decomposition (t-SVD) \cite{kilmer13}, we can impose a new type of low-rank tensor constraint on the rotated tensor to capture the complementary information from multiple views. Different from traditional unfolding based tensor norm, this low-rank tensor constraint has optimality properties similar to that of matrix rank derived from SVD, so the complementary information among views can be explored more efficiently and thoroughly. The established model, called t-SVD based Multi-view Subspace Clustering (t-SVD-MSC), falls into the applicable scope of augmented Lagrangian method, and its minimization problem can be efficiently solved with theoretical convergence guarantee and relatively low computational complexity. Extensive experimental testing on eight challenging image dataset shows that the proposed method has achieved highly competent objective performance compared to several state-of-the-art multi-view clustering methods.

研究の動機と目的

• 複数の視点における部分空間クラスタリングの課題に、共同最適化フレームワーク内で視点固有の自己表現を統合することにより対処すること。
• 部分空間表現の集合的構造をテンソルとしてモデル化することで、複数の視点間の高次相関を活用すること。
• 従来のアンフォールディングベースのテンソルノルムが、テンソルランク近似において物理的解釈性と最適性に欠けるという点を克服すること。
• t-SVDに基づくテンソル多重ランク最小化を用いて、視点間の一貫性を保ちつつ補完的情報を維持すること。
• 大規模マルチビュークラスタリングに適した、効率的で収束保証付き、計算複雑度が低いアルゴリズムの開発すること。

提案手法

• 本手法は、各視点からの自己表現行列を第3次元に沿って積み重ねることでテンソルを構築する。
• テンソルに巡回的回転を適用し、フーリエ領域におけるt-SVDによる多重ランク最小化を可能にする。
• t-SVDに基づくテンソル核ノルム（t-TNN）を低ランク制約として用い、物理的に意味のあるかつ最適なテンソルの低ランク近似を実現する。
• 増大ラグランジュ法を用いて最適化問題を解き、理論的収束保証を達成する。
• フーリエ領域におけるソフトスレッショーディングに相当する、元の領域における畳み込み型チューブシャンキング作用素を導出する。これにより、計算を効率化できる。
• 視点全体にわたる低ランク構造を促進することで、ノイズ低減を内蔵的に実現し、一貫性と耐性を向上させる。

実験結果

リサーチクエスチョン

• RQ1 t-SVDに基づくテンソル多重ランク最小化は、マルチビュー自己表現の統合に有効であり、クラスタリング性能の向上に寄与するか？
• RQ2 提案されたt-SVD-MSC手法は、クラスタリング精度と耐性の観点で、既存のマルチビュークラスタリング手法を上回るか？
• RQ3 t-SVDに基づく低ランク制約は、従来のアンフォールディングベースのテンソルノルムと比較して、高次相関をどのようにより効果的に捉えているか？
• RQ4 大規模マルチビュークラスタリングにおける、提案アルゴリズムの計算効率と収束特性はいかがなものか？
• RQ5 一部の視点が劣化しているかノイズを含む状況でも、本手法は高い性能を維持できるか？

主な発見

• 提案されたt-SVD-MSC手法は、ORL、Yale、Scene-15、Caltech-101を含む8つのベンチマークデータセットで最先端の性能を達成し、正準相関係数（NMI）とクラスタリング精度の両面で、既存のマルチビュークラスタリング手法を上回った。
• Scene-15データセットでは、クラスタリング精度89.6%、NMI 0.872を達成し、RMSC、DiMSC、LTMSCを顕著に上回った。
• 劣化した視点に対しても強い耐性を示し、一部の視点が汚染されたり情報量が少なくなっていても、高い性能を維持した。
• CNNベースのクラスタリング手法と比較して、CNN特徴量を1つの視点として用いた場合でも、競争力のある結果を達成した。これにより、本手法の現代的深層特徴量への適応性が示された。
• アルゴリズムは高速に収束し、Scene-15データセットにおけるCPU時間は27.69分にまで短縮された。これは、RMSC（187.01分）やLTMSC（135.68分）と比較して顕著に高速であった。
• 理論的収束性が保証されており、t-SVDの使用により、従来のアンフォールディングベースのノルムよりもより最適かつ解釈可能な低ランク近似が実現された。