[論文レビュー] Auto-weighted Multi-view Clustering for Large-scale Data

Xinhang Wan, Xinwang Liu+7 more|arXiv (Cornell University)|Jan 21, 2023

Face and Expression Recognition被引用数 8

ひとこと要約

AWMVC は、ビューごとに複数の潜在埋め込みを学習し、それらの寄与度を自動的に重み付けし、合意行列に融合し、ハイパーパラメータなしでスケーラブルな多視点クラスタリングを6段階の収束性を保証する交互最適化で解く。

ABSTRACT

Multi-view clustering has gained broad attention owing to its capacity to exploit complementary information across multiple data views. Although existing methods demonstrate delightful clustering performance, most of them are of high time complexity and cannot handle large-scale data. Matrix factorization-based models are a representative of solving this problem. However, they assume that the views share a dimension-fixed consensus coefficient matrix and view-specific base matrices, limiting their representability. Moreover, a series of large-scale algorithms that bear one or more hyperparameters are impractical in real-world applications. To address the two issues, we propose an auto-weighted multi-view clustering (AWMVC) algorithm. Specifically, AWMVC first learns coefficient matrices from corresponding base matrices of different dimensions, then fuses them to obtain an optimal consensus matrix. By mapping original features into distinctive low-dimensional spaces, we can attain more comprehensive knowledge, thus obtaining better clustering results. Moreover, we design a six-step alternative optimization algorithm proven to be convergent theoretically. Also, AWMVC shows excellent performance on various benchmark datasets compared with existing ones. The code of AWMVC is publicly available at https://github.com/wanxinhang/AAAI-2023-AWMVC.

研究の動機と目的

• 複数のビュー間で補完情報をクラスタリングに活用する。
• 既存MVC手法の高い計算量と固定次元埋め込みを克服する。
• パラメータを用いないアプローチで大規模適用性を実現する。
• クラスタリング品質への寄与度に基づき潜在埋め込みを自動的に重み付けする。

提案手法

• 各ビューを複数の潜在次元へ射影して多様な情報を捉える。
• 次元ごとに基底マトリクスを学習し、合意係数マトリクスを生成する。
• 次元固有の係数を回転ベースのマッピングで統一された合意へ融合する統一目的関数を導入する。
• 収束保証を伴う6段階の交互最適化アルゴリズムを採用する。
• ハイパーパラメータを避け、パラメータフリーの定式化で線形時間計算量を実現する。

実験結果

リサーチクエスチョン

• RQ1 自動重み付けされた多次元埋め込みは、多様なビュー間でクラスタリング品質を改善できるか。
• RQ2 収束保証付きのパラメーターフリーなスケーラブルMVC手法を得られるか。
• RQ3 多様な潜在埋め込み指向は最終的な合意行列とクラスタリング性能にどのような影響を与えるか。

主な発見

• AWMVC は ACC、NMI、Purity、Fscore の7つのベンチマークデータセットで競争力のあるまたは優れたクラスタリング性能を達成する。
• 本手法はサンプル数に対して線形時間で動作し、ハイパーパラメータを用いない。
• 収束は理論的および実証的に示され、通常は10反復以内に安定化する。
• 次元重みはより高次元の埋め込みを支持しており、より大きな潜在空間に richer な情報があることを示唆する。
• アブレーション研究では、多次元マッピングまたは識別重みのいずれかを削除すると性能が劣化する。
• AWMVC は難易度の高いデータセットに対して、いくつかの先行の大規模MVC手法を上回る。