[論文レビュー] Adaptively-weighted Integral Space for Fast Multiview Clustering

Man-Sheng Chen, Tuo Liu+3 more|arXiv (Cornell University)|Aug 25, 2022

Advanced Clustering Algorithms Research被引用数 5

ひとこと要約

本稿では、近似的に線形時間計算量を持つ、共有クラスタ構造とビュー固有の表現を同時に学習する適応的重み付き潜在統合空間をモデル化する、新しい多視点クラスタリング手法AIMCを提案する。視覚的生成モデルと適応的信頼度重み、直交重心学習を用いることで、従来手法と比較して計算コストを著しく削減しつつ、大規模データセットにおいて最先端の性能を達成する。

ABSTRACT

Multiview clustering has been extensively studied to take advantage of multi-source information to improve the clustering performance. In general, most of the existing works typically compute an n * n affinity graph by some similarity/distance metrics (e.g. the Euclidean distance) or learned representations, and explore the pairwise correlations across views. But unfortunately, a quadratic or even cubic complexity is often needed, bringing about difficulty in clustering largescale datasets. Some efforts have been made recently to capture data distribution in multiple views by selecting view-wise anchor representations with k-means, or by direct matrix factorization on the original observations. Despite the significant success, few of them have considered the view-insufficiency issue, implicitly holding the assumption that each individual view is sufficient to recover the cluster structure. Moreover, the latent integral space as well as the shared cluster structure from multiple insufficient views is not able to be simultaneously discovered. In view of this, we propose an Adaptively-weighted Integral Space for Fast Multiview Clustering (AIMC) with nearly linear complexity. Specifically, view generation models are designed to reconstruct the view observations from the latent integral space with diverse adaptive contributions. Meanwhile, a centroid representation with orthogonality constraint and cluster partition are seamlessly constructed to approximate the latent integral space. An alternate minimizing algorithm is developed to solve the optimization problem, which is proved to have linear time complexity w.r.t. the sample size. Extensive experiments conducted on several realworld datasets confirm the superiority of the proposed AIMC method compared with the state-of-the-art methods.

研究の動機と目的

• 既存の多視点クラスタリング手法が依存する$n \times n$類似度グラフに起因する高い計算複雑度に対処すること。
• 複数の不十分なビューから、潜在的統合空間と共有クラスタ構造を同時に発見することで、ビュー不足問題を克服すること。
• 大規模な多視点データクラスタリングに適した、ほぼ線形時間計算量の手法を開発すること。
• ビュー固有の再構成とクラスタ分割学習を統合的な最適化枠組みに統合すること。

提案手法

• 各ビューの信頼度重みを用いて、複数のビュー間で共有されるクラスタ構造をモデル化する適応的重み付き潜在統合空間を提案する。
• 観測されたビューを潜在統合空間から再構成するためのビュー生成モデルを設計し、ビューと統合空間の間で双方向マッピングを可能にする。
• クラスタ分割学習と組み合わせた直交重心表現を導入し、潜在統合空間を近似する。
• 再構成誤差と歪み誤差を同時に最小化する交互最適化アルゴリズムを開発し、サンプルサイズに関して線形時間計算量であることが示された。
• 各ビューが潜在空間を再構成する際の信頼性を反映するため、適応的信頼度重みを用いる。
• データ再構成とクラスタリング損失を統合した統一目的関数を採用し、エンドツーエンド学習を可能にする。

実験結果

リサーチクエスチョン

• RQ1 複数の不十分なビュー間で共有クラスタ構造を表現する潜在的統合空間を、効果的に学習できるか？
• RQ2 多視点クラスタリングの計算複雑度を、高性能を維持したままほぼ線形時間にまで低減できるか？
• RQ3 ビュー固有の表現と共有クラスタ構造を、統一フレームワーク内で同時に最適化できるか？
• RQ4 視覚の品質や情報量にばらつきがある状況でも、適応的信頼度重みがクラスタリングのロバスト性を向上できるか？

主な発見

• 9つの実世界データセットにおいて、NMIおよびACCの両指標で、比較したすべての手法の中でAIMCが最高のクラスタリング性能を達成した。
• 平均して計算時間で2番目の順位を記録し、特に最大のデータセット（YTF-100）では最も短い実行時間を記録しており、強力なスケーラビリティを示している。
• YTF-100データセットでは、2番目に優れた手法と比較してNMIが10.34%向上し、大規模データに対して優れた性能を示した。
• パラメータ解析により、ビュー生成モデルの次元数にかかわらず安定した性能を示し、妥当な範囲内で最適性能が達成可能であることがわかった。
• 収束解析により、目的関数値が単調に減少し、10イテレーション以内に最小値に到達することが確認され、高速収束を示した。