[論文レビュー] Efficient Multi-view Clustering via Unified and Discrete Bipartite Graph Learning

Si-Guo Fang, Dong Huang+4 more|arXiv (Cornell University)|Sep 9, 2022

Advanced Computing and Algorithms被引用数 6

ひとこと要約

本稿では、アンカーベースの部分空間学習とラプラシアンランク制約を用いて、視点固有の二部グラフ学習と視点一致の二部グラフ学習を統合する、効率的なマルチビュークラスタリング手法UDBGLを提案する。これにより、線形時間計算量であり、後処理を経ずに直接離散的クラスタリングが可能となる。本手法は、多様なデータセットにおいて最先端のクラスタリング性能を達成しながらも、特に大規模データに対して高い効率性を維持する。

ABSTRACT

Although previous graph-based multi-view clustering algorithms have gained significant progress, most of them are still faced with three limitations. First, they often suffer from high computational complexity, which restricts their applications in large-scale scenarios. Second, they usually perform graph learning either at the single-view level or at the view-consensus level, but often neglect the possibility of the joint learning of single-view and consensus graphs. Third, many of them rely on the k-means for discretization of the spectral embeddings, which lack the ability to directly learn the graph with discrete cluster structure. In light of this, this paper presents an efficient multi-view clustering approach via unified and discrete bipartite graph learning (UDBGL). Specifically, the anchor-based subspace learning is incorporated to learn the view-specific bipartite graphs from multiple views, upon which the bipartite graph fusion is leveraged to learn a view-consensus bipartite graph with adaptive weight learning. Further, the Laplacian rank constraint is imposed to ensure that the fused bipartite graph has discrete cluster structures (with a specific number of connected components). By simultaneously formulating the view-specific bipartite graph learning, the view-consensus bipartite graph learning, and the discrete cluster structure learning into a unified objective function, an efficient minimization algorithm is then designed to tackle this optimization problem and directly achieve a discrete clustering solution without requiring additional partitioning, which notably has linear time complexity in data size. Experiments on a variety of multi-view datasets demonstrate the robustness and efficiency of our UDBGL approach. The code is available at https://github.com/huangdonghere/UDBGL.

研究の動機と目的

• 既存のグラフベースのマルチビュークラスタリング手法の高い計算複雑性、特に完全な隣接行列グラフのO(n²)コストを解決すること。
• 単一ビューまたは一貫性レベルのグラフ学習の限界を克服し、視点固有のグラフと視点一貫性のグラフを同時に最適化すること。
• k-meansのような後処理を不要にするために、ラプラシアンランク制約を用いて直接離散的クラスタ構造を学習すること。
• データサイズに対して線形時間計算量を達成し、大規模マルチビュークラスタリング応用を支援すること。
• 視点固有のグラフ、一貫性グラフ、離散的クラスタ構造の学習を同時に最適化する統一された最適化フレームワークを開発すること。

提案手法

• 複数の視点から視点固有の二部グラフを構築するために、アンカーベースの部分空間学習を用いることで、計算コストを低減する。
• 視点固有の二部グラフを適応的重み学習を用いて統合し、共有構造を捉えた視点一貫性二部グラフを形成する。
• 統合されたグラフにラプラシアンランク制約を課し、正確にc個の連結成分を持つ離散的クラスタ構造を強制する。
• 視点固有の学習、一貫性学習、離散的構造学習の共同最適化を一つの目的関数に定式化する。
• 統一された最適化問題を効率的に解くために、交互最小化アルゴリズムを設計し、データサイズに対して線形時間計算量を達成する。
• 最終的な統合グラフを直接離散的クラスタリングの解として使用し、k-meansのような追加の分割ステップを回避する。

実験結果

リサーチクエスチョン

• RQ1 視点固有の二部グラフと視点一貫性の二部グラフを同時に学習することで、別々または単一レベルの学習と比較してクラスタリング性能が向上するか？
• RQ2 統合されたグラフにラプラシアンランク制約を課すことで、後処理を経ずに直接離散的クラスタリングが可能になるか？
• RQ3 提案手法が、高いクラスタリング精度を維持しながら、データサイズに対して線形時間計算量を達成できるか？
• RQ4 二段階処理やヒューリスティックな連結手法と比較して、統一された定式化は、頑健性と性能において優れているか？
• RQ5 大規模マルチビューデータセットにおいて、提案手法の収束特性とスケーラビリティはいかがなっているか？

主な発見

• UDBGLは、WebKB-Texas、CIFAR-100、VGGFaceを含む10種類の多様なマルチビューデータセットで最先端のクラスタリング性能を達成し、既存手法と比較して一貫した改善を示した。
• すべてのベンチマークデータセットにおける目的関数の減少曲線から、本手法は通常20イテレーション以内で急速に収束することが示された。
• アブレーションスタディの結果、統一された定式化が二段階処理や視点固有のみのバージョンを上回り、さまざまなデータセットにおいてより高い頑健性を示した。
• 実行時間の結果から、UDBGLは最大60,000サンプルの大規模データセットでも計算的に実行可能である一方で、いくつかのベースラインはメモリ制約により失敗していた。
• アンカー数をクラスタ数cに等しく設定すると、大多数のデータセットで安定した性能が得られ、有効な構造発見が可能であることが示された。
• MSGL や FPMVS-CAG などの他の最先端の二部グラフベース手法と同等の効率性を維持しており、競争力のある性能を発揮した。