[論文レビュー] Incomplete Contrastive Multi-View Clustering with High-Confidence Guiding

Guoqing Chao, Yi Jiang+1 more|arXiv (Cornell University)|Dec 14, 2023

Advanced Computing and Algorithms被引用数 6

ひとこと要約

本稿では、欠損データの処理、インスタンスレベルの注目と対照学習を用いた補完的で一貫性のある表現の学習、およびクラスタリングにおける高信頼度ガイドによる統合的アプローチを実現するエンドツーエンドの不完全対照多視点クラスタリング手法ICMVCを提案する。GCNを用いた補完と共同最適化を統合した統一フレームワークにより、視覚固有の情報と共有情報の両方を効果的に活用することで、5つのデータセットにおいて最先端の手法を上回る性能を達成した。

ABSTRACT

Incomplete multi-view clustering becomes an important research problem, since multi-view data with missing values are ubiquitous in real-world applications. Although great efforts have been made for incomplete multi-view clustering, there are still some challenges: 1) most existing methods didn't make full use of multi-view information to deal with missing values; 2) most methods just employ the consistent information within multi-view data but ignore the complementary information; 3) For the existing incomplete multi-view clustering methods, incomplete multi-view representation learning and clustering are treated as independent processes, which leads to performance gap. In this work, we proposed a novel Incomplete Contrastive Multi-View Clustering method with high-confidence guiding (ICMVC). Firstly, we proposed a multi-view consistency relation transfer plus graph convolutional network to tackle missing values problem. Secondly, instance-level attention fusion and high-confidence guiding are proposed to exploit the complementary information while instance-level contrastive learning for latent representation is designed to employ the consistent information. Thirdly, an end-to-end framework is proposed to integrate multi-view missing values handling, multi-view representation learning and clustering assignment for joint optimization. Experiments compared with state-of-the-art approaches demonstrated the effectiveness and superiority of our method. Our code is publicly available at https://github.com/liunian-Jay/ICMVC.

研究の動機と目的

• 現実世界のデータには視覚間で欠損値が存在する場合が多く、そのような不完全な多視点クラスタリングの課題に対処すること。
• 既存手法が補完的情報を十分に活用していない、または欠損データ処理とクラスタリングを別々のプロセスとして扱うという制限を克服すること。
• 欠損データ補完、表現学習、クラスタ割り当ての3つを同時に最適化する統合フレームワークを構築すること。
• 視覚間の一貫性と補完的情報を活用して、クラスタリング性能を向上させること。

提案手法

• 完全な視覚から得られる構造的情報を用いて、反復的に欠損特徴を推定・再構築するため、マルチビュー一貫性関係の転送とグラフ畳み込みネットワーク（GCN）を組み合わせた手法を提案。
• インスタンスレベルの注目融合モジュールを設計し、視覚固有の表現に対する動的重み付けを実現することで、補完的情報をより効果的に活用する。
• 潜在空間における一貫した構造的パターンを保持するため、インスタンスレベルの対照学習を導入。
• 重み共有の疑似分類器とターゲット分布を用いた高信頼度ガイドメカニズムを採用し、クラスタ割り当てを精緻化。
• 欠損データ処理、表現学習、クラスタリングの3つを統合したエンドツーエンドのフレームワークを構築し、共同最適化を実現。
• コサイン類似度とKNNベースのグラフ構築法を用いて隣接行列を形成し、最適な性能を得るためにKを調整。

実験結果

リサーチクエスチョン

• RQ1 一貫性と補完的情報を両立させながら、欠損値を含む多視点データを効果的に再構築できるか？
• RQ2 欠損データ補完、表現学習、クラスタリングの3つを同時に最適化することで、逐次的または独立的な処理に比べてクラスタリング性能が向上するか？
• RQ3 インスタンスレベルの注目と対照学習は、不完全多視点クラスタリングにおける表現品質をどのように向上させるか？
• RQ4 高信頼度ガイドは、欠損データが存在する状況下で、クラスタリングの安定性と正確性をどの程度向上させるか？
• RQ5 本手法は、欠損率の変動やグラフ構築におけるK値の変化に対してどの程度頑健か？

主な発見

• ICMVCは5つのベンチマークデータセットにおいて、ACC、NMI、ARIの指標で一貫して最先端の性能を達成した。
• 本手法は優れたクラスタリング品質を示し、類似度行列に明確なブロック構造が現れ、クラスタ分離性が向上していることが示された。
• 可視化結果から、ICMVCは単一の視覚では重複するクラスタとなる曖昧なサンプルに対しても、補完的情報を統合することで効果的に処理していることがわかった。
• MSRC-V1において、K値が1〜30の範囲内で安定した性能を示し、K値の変動に頑健であることが確認された。
• 収束解析から、損失関数が安定的に減少し、約100エポックでACC、NMI、ARIのクラスタリング指標が収束することが確認され、安定した学習が実現していることが示された。
• 感度解析から、Kが小さすぎたり大きすぎたりする場合にのみ性能が著しく低下することが判明し、適切なK選択の重要性が裏付けられた。