[論文レビュー] On the Effects of Self-supervision and Contrastive Alignment in Deep Multi-view Clustering

Daniel J. Trosten, Sigurd Løkse+2 more|arXiv (Cornell University)|Mar 17, 2023

Domain Adaptation and Few-Shot Learning被引用数 4

ひとこと要約

本稿では、最近の手法を統合し、自己教師学習および対照的アライメントの系統的分析を可能にする、深層多視点クラスタリングの統合フレームワークであるDeepMVCを紹介する。理論的および実験的に、対照的アライメントがクラスタ分離性を損なうことを示し、特に視点数が多い場合に顕著である。また、先行手法を上回る6つの新たなDeepMVCインスタンスを提案し、高視点データセットにおいて特に優れた性能を発揮する。

ABSTRACT

Self-supervised learning is a central component in recent approaches to deep multi-view clustering (MVC). However, we find large variations in the development of self-supervision-based methods for deep MVC, potentially slowing the progress of the field. To address this, we present DeepMVC, a unified framework for deep MVC that includes many recent methods as instances. We leverage our framework to make key observations about the effect of self-supervision, and in particular, drawbacks of aligning representations with contrastive learning. Further, we prove that contrastive alignment can negatively influence cluster separability, and that this effect becomes worse when the number of views increases. Motivated by our findings, we develop several new DeepMVC instances with new forms of self-supervision. We conduct extensive experiments and find that (i) in line with our theoretical findings, contrastive alignments decreases performance on datasets with many views; (ii) all methods benefit from some form of self-supervision; and (iii) our new instances outperform previous methods on several datasets. Based on our results, we suggest several promising directions for future research. To enhance the openness of the field, we provide an open-source implementation of DeepMVC, including recent models and our new instances. Our implementation includes a consistent evaluation protocol, facilitating fair and accurate evaluation of methods and components.

研究の動機と目的

• 実装の相違、評価プロトコル、ハイパーパramータの選択による一貫性の欠如と再現可能性の問題を解消するため、深層多視点クラスタリング（MVC）研究における一貫性を向上させること。
• 視点数の増加に伴い悪化する傾向がある、対照的アライメントがクラスタ分離性に与える負の影響を特定および分析すること。
• 既存のMVC手法を一般化し、コンponentsおよびモデルの公平かつ一貫した評価を可能にする統合フレームワーク（DeepMVC）を構築すること。
• 最先端の手法を上回る自己教師学習戦略を有する新たなMVCインスタンスを提案し、複数のデータセットで優れた性能を発揮すること。
• 標準化された評価プロトコルを備えたオープンソース実装を提供することで、分野の再現可能性と進展を促進すること。

提案手法

• 視点固有のエンコーダ、単一視点自己教師学習（SV-SSL）、多視点自己教師学習（MV-SSL）、特徴統合、クラスタリングの5つのコアコンponentsを有するモジュラーなフレームワークとしてDeepMVCを設計する。
• 既存のMVC手法を、フレームワークの構造にそのコンponentsをマッピングすることで、DeepMVCのインスタンスとして統合する。
• 理論的に、対照的アライメントが表現空間における分離可能なクラスタ数を減少させることを証明し、視点数が増えるほどその負の影響が顕著になることを示す。
• 対照学習、相互情報量の最大化、自己符号化、エントロピー正則化といった多様な自己教師学習技術を用いて、6つの新たなDeepMVCインスタンスを開発する。
• すべてのモデルとデータセットで一貫した評価プロトコルを実装し、標準化されたデータ分割、ハイパーパramータ探索、およびメトリクス（例：NMI）を含む。
• ハイパーパramータスイープを実施し、特に高い対照的損失重みや低いエントロピー正則化といった感受性の高い設定を特定する。

実験結果

リサーチクエスチョン

• RQ1 対照的アライメントは、視点数が増加する場合に、深層多視点クラスタリングにおけるクラスタ分離性にどのように影響を与えるか？
• RQ2 視点数が異なるデータセットにおいて、どの自己教師学習形式が最も効果的か？
• RQ3 統合フレームワークは、深層MVC研究における再現可能性と公平な比較を向上させることができるか？
• RQ4 代替の自己教師学習メカニズムを有する新たなDeepMVCインスタンスは、既存の最先端手法を上回る性能を発揮するか？
• RQ5 特に対照的損失重みとエントロピー正則化に関して、提案されたモデルはハイパーパramータ設定に対してどれほど感受性を示すか？

主な発見

• 対照的アライメントは、Caltech7のような高視点データセットにおいて、クラスタリング性能を著しく低下させる。対照的損失重みを10.0に引き上げると、NMIが0.09にまで低下する。
• 相互情報量の最大化は、高視点データセットにおいて対照的アライメントを上回る性能を発揮し、NoisyMNISTでエントロピー正則化を適切にチューニングしたInfoDDCでは0.84 NMIを達成する。
• 評価されたすべての手法が、少なくとも1つの自己教師学習形式の恩恵を受ける。最適な再構成重み下で、AECoDDCはNoisyMNISTで0.99 NMI、Caltech7で0.49 NMIを達成する。
• 新しいDeepMVCインスタンスは、ハイパーパramータ変更に対して大半が頑健であるが、対照的損失重みが高すぎると（例：AECoDDCはCaltech7で0.19 NMIに低下）、またはエントロピー正則化が低すぎると（例：InfoDDCは0.94から0.21 NMIに低下）性能が著しく低下する。
• フレームワークにより公平な比較が可能となった。MvSCNとMulti-VAEでは、新しい実装において性能差が顕在化し、過去の結果が前処理や評価方法の違いに影響を受けていた可能性を示唆する。
• 標準化された評価を備えたオープンソースのDeepMVC実装により、再現可能性が向上し、メソッド開発が加速された。複数のデータセットにわたる一貫性と正確なベンチマーク評価が、その有効性を実証した。