[論文レビュー] MiCE: Mixture of Contrastive Experts for Unsupervised Image Clustering

Tsung Wei Tsai, Chongxuan Li+1 more|arXiv (Cornell University)|May 5, 2021

Domain Adaptation and Few-Shot Learning参考文献 66被引用数 10

ひとこと要約

MiCEは、対照的学習とエキスパートの混合モデルを統合することで、識別的表現とクラスタ構造を同時に最適化する統一された確率的クラスタリングフレームワークを提案する。インスタンスを特化した対照的エキスパートにルーティングするゲーティングネットワークを用い、スケーラブルなEMアルゴリズムで訓練することで、事前学習を伴わず、CIFAR-10でSCAN や MoCo といった強力なベースラインを最大90.3%まで上回る最先端の性能を達成した。

ABSTRACT

We present Mixture of Contrastive Experts (MiCE), a unified probabilistic clustering framework that simultaneously exploits the discriminative representations learned by contrastive learning and the semantic structures captured by a latent mixture model. Motivated by the mixture of experts, MiCE employs a gating function to partition an unlabeled dataset into subsets according to the latent semantics and multiple experts to discriminate distinct subsets of instances assigned to them in a contrastive learning manner. To solve the nontrivial inference and learning problems caused by the latent variables, we further develop a scalable variant of the Expectation-Maximization (EM) algorithm for MiCE and provide proof of the convergence. Empirically, we evaluate the clustering performance of MiCE on four widely adopted natural image datasets. MiCE achieves significantly better results than various previous methods and a strong contrastive learning baseline.

研究の動機と目的

• 表現学習とクラスタリングを分離する二段階型クラスタリング手法の限界を解決すること。
• 潜在的な混合モデルを用いた確率的クラスタリングと、対照的学習による識別的表現学習を統合すること。
• 補助正則化なしに表現とクラスタ割り当てを同時に最適化するスケーラブルなEMベースの訓練アルゴリズムを開発すること。
• 提案手法が、エンドツーエンド型クラスタリングベースラインおよび強力な二段階型対照的事前学習手法を上回ることを示すこと。
• ELBO目的関数が有界であり、EMアルゴリズムが収束することを理論的に示し、安定した訓練を保証すること。

提案手法

• 各エキスパートが対照的学習によりインスタンスのサブセットを識別するように学習する条件付きモデルの混合を定式化する。
• 潜在的な意味的構造に基づいて、インスタンス固有の重みをエキスパートに割り当てるゲーティング関数を導入する。
• 潜在クラスタ変数を用いた確率的フレームワークを採用し、エキスパートの混合をモデル化することで、表現とクラスタ割り当ての共同最適化を可能にする。
• スケーラブルなEMアルゴリズムを開発：Eステップでは潜在クラスタ変数の近似的な後方確率推論を実行；Mステップではすべてのモデルパラメータに関してELBOを最大化する。
• 各エキスパートごとに対照的損失を用い、一貫性を保つためにネットワーク全体でプロトタイプを共有することで、識別力の向上を図る。
• 補助損失を一切用いずに、単一の統一されたELBO目的関数を最適化することで、正則化を回避し、エンドツーエンドの訓練を実現する。

実験結果

リサーチクエスチョン

• RQ1 対照的学習と混合モデルを統合した統一フレームワークは、二段階型ベースラインを上回る教師なし画像クラスタリングを達成できるか？
• RQ2 提案された対照的エキスパートの混合（MiCE）は、事前学習を伴わず、最先端の手法を上回るクラスタリング性能を達成できるか？
• RQ3 MiCEフレームワークは、二段階型アプローチ（例：SimCLRで事前学習し、その後クラスタリング）と比較して、性能と収束性において優れているか？
• RQ4 MiCEのEMベースの訓練手順は理論的に妥当であり、ELBO目的関数の収束が保証されるか？
• RQ5 MiCEは真のクラスタ数Kの知識がなくてもデータセット間で一般化可能か？また、過剰クラスタリングに対しどのように対処するか？

主な発見

• MiCEは、MoCo/InstDiscというより弱いオーグメンテーション戦略を用いても、CIFAR-10で83.4%のクラスタリング精度を達成し、二段階型設定でSimCLRを用いたSCAN（78.7%）やRandAugment（81.8%）を上回った。
• 事前学習を施した場合、MiCEはSimCLRのオーグメンテーションを用いてCIFAR-10で90.3%の精度に達し、自らの自己ラベル付けを用いたSCANの最良結果（87.6%）をも上回った。
• 事前学習とファインチューニングを施したMiCEはCIFAR-10で89.3%の精度を達成し、同じ事前学習プロトコルを用いてもSCANを上回るロバストネスと性能向上を示した。
• ELBO目的関数は有界であり、提案されたEMアルゴリズムは収束することが保証され、訓練手順に理論的根拠を与えた。
• ゲーティング用とエキスパート用の2つのプロトタイプセットは類似していないことが促進されず、実験的なコサイン類似度は0.25未満であり、それぞれが異なる役割を果たしており、一致しないことによる悪影響はないことが示された。
• MiCEは、損失重みの調整のための追加の正則化やハイパーパramータチューニングを必要とせず、単一の統一された目的関数を最適化することで動作する。