[論文レビュー] Seeking Commonness and Inconsistencies: A Jointly Smoothed Approach to Multi-view Subspace Clustering

Xiaosha Cai, Dong Huang+2 more|arXiv (Cornell University)|Mar 15, 2022

Advanced Clustering Algorithms Research被引用数 5

ひとこと要約

本稿では、共通表現と不一致を同時にモデル化するとともに、ビュー整合性のグループ化効果と低ランク正則化を統合する新しいマルチビュー部分空間クラスタリング手法JSMCを提案する。これらの要素を統一的な最適化フレームワークに統合することで、複数のベンチマークデータセットにおいて最先端のクラスタリング性能を達成し、共同平滑化正則化と構造的表現学習を通じてより高いロバスト性を示した。

ABSTRACT

Multi-view subspace clustering aims to discover the hidden subspace structures from multiple views for robust clustering, and has been attracting considerable attention in recent years. Despite significant progress, most of the previous multi-view subspace clustering algorithms are still faced with two limitations. First, they usually focus on the consistency (or commonness) of multiple views, yet often lack the ability to capture the cross-view inconsistencies in subspace representations. Second, many of them overlook the local structures of multiple views and cannot jointly leverage multiple local structures to enhance the subspace representation learning. To address these two limitations, in this paper, we propose a jointly smoothed multi-view subspace clustering (JSMC) approach. Specifically, we simultaneously incorporate the cross-view commonness and inconsistencies into the subspace representation learning. The view-consensus grouping effect is presented to jointly exploit the local structures of multiple views to regularize the view-commonness representation, which is further associated with the low-rank constraint via the nuclear norm to strengthen its cluster structure. Thus the cross-view commonness and inconsistencies, the view-consensus grouping effect, and the low-rank representation are seamlessly incorporated into a unified objective function, upon which an alternating optimization algorithm is performed to achieve a robust subspace representation for clustering. Experimental results on a variety of real-world multi-view datasets confirm the superiority of our approach. Code available: https://github.com/huangdonghere/JSMC.

研究の動機と目的

• 既存のマルチビュー部分空間クラスタリング手法が視点の一貫性に過度に注目する一方で、視点間の不一致を軽視するという限界を是正すること。
• 複数の視点における局所構造を共同で活用するビュー整合性グループ化効果を通じて、部分空間表現学習を向上させること。
• 共通表現に核ノルム正則化による低ランク制約を組み込むことで、クラスタリングのロバスト性を向上させること。
• 視点間の共通性、不一致、局所構造モデリング、低ランク表現を統一的な最適化目的関数に統合すること。
• ロバストなクラスタリングを実現するための交互最適化アルゴリズムを構築すること。

提案手法

• 各視点の部分空間表現を、ビュー共通性行列とビュー不一致行列に分解することで、視点間の共有構造と相違構造を明示的にモデル化する。
• 全視点の局所構造を統合的に活用するビュー整合性グループ化効果を導入し、共通表現を局所構造に基づいて共同正則化することで、ロバスト性と一貫性を向上させる。
• 共通性表現はさらに核ノルム最小化による正則化を受けることで、低ランク構造を強制し、クラスタの密着性を向上させる。
• 自己表現損失、不一致モデリング、平滑化正則化、低ランク制約を統合した統一目的関数を構築し、エンドツーエンド最適化を実現する。
• 交互最適化アルゴリズムを用いて、共通性行列、不一致行列、その他の変数を反復的に更新することで、収束性と安定性を確保する。
• スケーラブルかつ拡張可能に設計されており、二部グラフやアンサンブルクラスタリングの設定への応用も可能性を有する。

実験結果

リサーチクエスチョン

• RQ1 視点間の共通性と不一致を同時にモデリングすることで、マルチビュー部分空間クラスタリングの性能が向上するか？
• RQ2 全視点の局所構造を活用するビュー整合性グループ化効果を組み込むことで、表現学習はどのように向上するか？
• RQ3 核ノルムによる低ランク正則化は、マルチビュー表現におけるクラスタ構造をどの程度改善するか？
• RQ4 各成分（不一致、平滑化、低ランク）が全体のクラスタリング性能に果たす相対的寄与度はどの程度か？
• RQ5 提案手法は、多様な実世界データセットにおいて、最先端のマルチビュー部分空間クラスタリング手法を上回る性能を示せるか？

主な発見

• JSMCは、すべてのベンチマークデータセットで最高の平均クラスタリング正解率（61.54％）と正規化相互情報量（55.05％）を達成し、既存手法を上回った。
• アブレーションスタディの結果、共通性、平滑化、低ランクの3つのコアコンポーネントのいずれかを除去すると性能が著しく低下し、それらが極めて重要な役割を果たしていることが確認された。
• COIL-20データセットでは、JSMCは83.96％の正解率と88.68％の純度を達成し、次に優れた手法よりも5ポイント以上も優れていた。
• アブレーション解析により、ビュー統合グループ化効果が顕著な貢献をしていることが確認され、これを除去すると正解率が65.17％に低下した。
• Reutersデータセットでは、JSMCは46.75％の正解率と48.58％の純度を達成し、ベースライン手法よりも顕著に高く、テキスト中心のマルチビューデータでも優れた性能を示した。
• 本手法は、画像、テキスト、ハイブリッドマルチビューデータセットを含む多様なデータタイプにおいても高い性能を維持しており、汎用性とロバスト性を示した。