[論文レビュー] Contrastive Multi-Modal Clustering.

Jie Xu, Huayi Tang+3 more|arXiv (Cornell University)|Jun 21, 2021

Advanced Image and Video Retrieval Techniques参考文献 26被引用数 4

ひとこと要約

本稿では、対照的学習を活用して複数のモダリティにわたる高レベルの意味的特徴を抽出するとともに、低レベルの多様性を保持する、新しいフレームワークである対照的マルチモodalクラスタリング（CMMC）を提案する。特徴およびラベルの対照的モジュールを統合することにより、CMMCは高レベル表現における相互情報量を最大化し、マルチモダリティクラスタリングベンチマークにおいて最先端の手法を上回る性能を発揮する。

ABSTRACT

Multi-modal clustering, which explores complementary information from multiple modalities or views, has attracted people's increasing attentions. However, existing works rarely focus on extracting high-level semantic information of multiple modalities for clustering. In this paper, we propose Contrastive Multi-Modal Clustering (CMMC) which can mine high-level semantic information via contrastive learning. Concretely, our framework consists of three parts. (1) Multiple autoencoders are optimized to maintain each modality's diversity to learn complementary information. (2) A feature contrastive module is proposed to learn common high-level semantic features from different modalities. (3) A label contrastive module aims to learn consistent cluster assignments for all modalities. By the proposed multi-modal contrastive learning, the mutual information of high-level features is maximized, while the diversity of the low-level latent features is maintained. In addition, to utilize the learned high-level semantic features, we further generate pseudo labels by solving a maximum matching problem to fine-tune the cluster assignments. Extensive experiments demonstrate that CMMC has good scalability and outperforms state-of-the-art multi-modal clustering methods.

研究の動機と目的

• 既存のマルチモダリティクラスタリング手法において高レベルの意味的表現学習に焦点が当たっていないという点を解決すること。
• 複数のビューにわたる共有された意味的特徴を学習しつつ、モダリティ固有の多様性を保持するフレームワークを開発すること。
• 対照的学習を用いて複数モダリティ間でクラスタ割り当てを整合させるこで、クラスタリング性能を向上させること。
• 最大マッチング戦略を用いて信頼性の高い疑似ラベルを生成し、クラスタ割り当てを精緻化すること。

提案手法

• 低レベル特徴の多様性を保持し、補完的な情報を抽出するために、各モダリティごとに独立して複数のオートエンコーダーを訓練する。
• 特徴対照的モジュールは、異なるモダリティからの高レベル表現間の相互情報量を最大化する。
• ラベル対照的モジュールは、割り当ての不一致を最小化することで、すべてのモダリティ間で一貫したクラスタ割り当てを保証する。
• 疑似ラベルは最大マッチング問題を解いて生成され、クラスタ割り当ての精緻化と微調整が行われる。
• 全フレームワークは、特徴対照、ラベル対照、再構成の目的関数をバランスさせるために共同最適化される。
• 本手法は、対照的学習を活用して意味的整合性を高める一方で、モダリティ固有の表現多様性を維持する。

実験結果

リサーチクエスチョン

• RQ1 対照的学習は、クラスタリング設定において複数のモダリティから高レベルの意味的特徴を効果的に抽出できるか？
• RQ2 低レベルの多様性を保ちつつ、異なるモダリティからの高レベル特徴間の相互情報量をどのように最大化できるか？
• RQ3 ラベル対照的モジュールを用いることで、複数モダリティ間で一貫したクラスタ割り当てを学習できるか？
• RQ4 最大マッチングから得られる疑似ラベルの使用は、最終的なクラスタリング性能をどのように向上させるか？
• RQ5 提案されたCMMCフレームワークは、効果的にスケーリング可能であり、既存の最先端マルチモダリティクラスタリング手法を上回るか？

主な発見

• CMMCは、ベンチマークデータセットにおいて、最先端のマルチモダリティクラスタリング手法を上回る優れたクラスタリング性能を達成した。
• 特徴対照的モジュールは、異なるモダリティ間の意味的整合性を効果的に向上させた。
• ラベル対照的モジュールは、すべてのモダリティ間でクラスタ割り当ての一貫性を向上させた。
• 最大マッチングによる疑似ラベル生成は、クラスタ割り当ての精緻化を著しく行い、最終的な性能を向上させた。
• フレームワークは、多様なマルチモダリティデータセットにおいて強力なスケーラビリティとロバストネスを示した。
• 再構成、特徴対照、ラベル対照の目的関数の共同最適化により、より良いクラスタリング結果が得られた。