[論文レビュー] Fast Multi-view Clustering via Ensembles: Towards Scalability, Superiority, and Simplicity

Dong Huang, Chang‐Dong Wang+1 more|arXiv (Cornell University)|Mar 22, 2022

Advanced Clustering Algorithms Research被引用数 14

ひとこと要約

本稿では、ランダムなビュー群とハイブリッドな早期・後期融合戦略を用いることで、データセット固有のハイパーパrameterチューニングを必要とせず、線形時間計算量で効率的なクラスタリングを実現するスケーラブルで高性能なマルチビュークラスタリング手法FastMICESを提案する。22のデータセット、特に398,191件のサンプルを有する極めて大規模なYTF-400を含むデータセットにおいて、最先端の性能を達成するとともに、ほぼ線形時間および空間計算量を維持している。

ABSTRACT

Despite significant progress, there remain three limitations to the previous multi-view clustering algorithms. First, they often suffer from high computational complexity, restricting their feasibility for large-scale datasets. Second, they typically fuse multi-view information via one-stage fusion, neglecting the possibilities in multi-stage fusions. Third, dataset-specific hyperparameter-tuning is frequently required, further undermining their practicability. In light of this, we propose a fast multi-view clustering via ensembles (FastMICE) approach. Particularly, the concept of random view groups is presented to capture the versatile view-wise relationships, through which the hybrid early-late fusion strategy is designed to enable efficient multi-stage fusions. With multiple views extended to many view groups, three levels of diversity (w.r.t. features, anchors, and neighbors, respectively) are jointly leveraged for constructing the view-sharing bipartite graphs in the early-stage fusion. Then, a set of diversified base clusterings for different view groups are obtained via fast graph partitioning, which are further formulated into a unified bipartite graph for final clustering in the late-stage fusion. Notably, FastMICE has almost linear time and space complexity, and is free of dataset-specific tuning. Experiments on 22 multi-view datasets demonstrate its advantages in scalability (for extremely large datasets), superiority (in clustering performance), and simplicity (to be applied) over the state-of-the-art. Code available: https://github.com/huangdonghere/FastMICE.

研究の動機と目的

• スペトラルクラスタリングやアフィニティ行列構築に起因するO(N³)の計算量ボトルネックにより、既存のマルチビュークラスタリング（MVC）アルゴリズムに生じるスケーラビリティの制限を解消する。
• 早期または後期の単一段階融合の限界を克服するため、複数段階の情報統合を可能にするハイブリッドな早期・後期融合戦略を提案する。
• 教師なし設定における実用性を損なうデータセット固有のハイパーパrameterチューニングの必要性を排除する。
• 一般規模および極めて大規模なマルチビューデータセットにおいて、優れたクラスタリング性能を達成するとともに、線形時間および空間計算量を維持する。

提案手法

• 複数のビューを柔軟に整理できるようにするため、ランダムなビュー群を導入し、複数段階にわたり異なるビュー間の関係性を探索可能にする。
• 各ランダムビュー群内において、特徴レベル、アンカーレベル、近傍レベルの3段階の多様性を活用し、初期段階の統合において堅牢なビュー共有双方向グラフを構築する。
• ビュー共有双方向グラフ上で高速なグラフ分割を実行し、異なるビュー群から多様な基本クラスタリングを生成する。
• 最終的なクラスタリングのために、多様な基本クラスタリングを統合した一様な双方向グラフを後段階の統合で構築する。
• 単一段階の早期および後期統合を特別なケースとして一般化するハイブリッドな早期・後期統合フレームワークを設計する。
• 高価な行列分解や反復最適化を回避することで、ほぼ線形時間および空間計算量を確保する。

実験結果

リサーチクエスチョン

• RQ1 ランダムなビュー群を用いた複数段階の統合戦略は、単一段階の早期または後期統合を上回るクラスタリング性能を実現できるか？
• RQ2 提案されたハイブリッドな早期・後期統合フレームワークは、大規模データセットにおいてスケーラビリティと優れたクラスタリング精度の両立を可能にするか？
• RQ3 本手法は、データセット固有のハイパーパrameterチューニングを一切必要とせずに高い性能を達成できるか？
• RQ4 1つのグループにすべてのビューを含める、または1つのビューを1つのグループに割り当てる場合と比較して、複数のランダムなビュー群を用いることで、クラスタリング品質および頑健性にどのような差が生じるか？

主な発見

• FastMICESは22のマルチビューデータセットにおいて、クラスタリング精度および正規化相互情報量の両面で、既存手法を上回る最先端の性能を達成した。
• 398,191件のサンプルを有するYTF-400データセットにおいて、FastMICESは唯一、実行可能な時間内（263.81秒）にクラスタリングを完了した。LMVSC、SMVSC、FPMVS-CAGは、メモリ不足や過度な実行時間のため失敗した。
• ランダムなビュー群の使用は、1ビュー1グループまたはすべてのビューを1グループにまとめるベースラインと比較して、大多数のデータセットで性能を顕著に向上させ、多様なビューのグループ化の有効性を示した。
• FastMICESはほぼ線形時間および空間計算量を達成しており、性能を犠牲にすることなく、極めて大規模なデータセットへのスケーラビリティを実現する最初のMVC手法である。
• 本手法は、データセット固有のハイパーパrameterチューニングを一切必要としないため、実用性と導入の容易さが著しく向上した。