[論文レビュー] Exploring Non-Contrastive Representation Learning for Deep Clustering

Zhizhong Huang, Jie Chen+2 more|arXiv (Cornell University)|Nov 23, 2021

Domain Adaptation and Few-Shot Learning参考文献 53被引用数 4

ひとこと要約

本稿では、非対照的深層クラスタリング手法NCCを提案する。これはBYOLに基づくもので、負例の使用を排除することでクラス衝突を回避する。EMフレームワーク内に正例サンプリング戦略と特徴的対照的損失を導入することで、クラスタ内凝集性とクラスタ間分離性が向上し、ImageNet-1Kおよび他のベンチマークで最先端の性能を達成した。

ABSTRACT

Existing deep clustering methods rely on contrastive learning for representation learning, which requires negative examples to form an embedding space where all instances are well-separated. However, the negative examples inevitably give rise to the class collision issue, compromising the representation learning for clustering. In this paper, we explore non-contrastive representation learning for deep clustering, termed NCC, which is based on BYOL, a representative method without negative examples. First, we propose to align one augmented view of instance with the neighbors of another view in the embedding space, called positive sampling strategy, which avoids the class collision issue caused by the negative examples and hence improves the within-cluster compactness. Second, we propose to encourage alignment between two augmented views of one prototype and uniformity among all prototypes, named prototypical contrastive loss or ProtoCL, which can maximize the inter-cluster distance. Moreover, we formulate NCC in an Expectation-Maximization (EM) framework, in which E-step utilizes spherical k-means to estimate the pseudo-labels of instances and distribution of prototypes from a target network and M-step leverages the proposed losses to optimize an online network. As a result, NCC forms an embedding space where all clusters are well-separated and within-cluster examples are compact. Experimental results on several clustering benchmark datasets including ImageNet-1K demonstrate that NCC outperforms the state-of-the-art methods by a significant margin.

研究の動機と目的

• 対照的学習に基づく深層クラスタリングに内在するクラス衝突問題に取り組むこと。これは負例の使用に起因する。
• 非対照的表現学習が深層クラスタリングの対照的手法の代替として有効であるかを検討すること。
• 負例マイニングに依存せずにクラスタ内凝集性とクラスタ間分離性を向上させること。
• 疑似ラベル付けと特徴的学習をEM最適化スキームに統合する新たな訓練フレームワークを開発すること。

提案手法

• 1つの増幅ビューを、別の増幅ビューの近隣と埋め込み空間で一致させる正例サンプリング戦略を提案。これにより負例を回避する。
• 同じプロトタイプの2つの増幅ビュー間の一致を促進し、すべてのプロトタイプ間で一様性を確保する特徴的対照的損失（ProtoCL）を導入。
• 期待値最大化（EM）フレームワークを採用：Eステップでは、ターゲットネットワークの出力に対して球面k-meansを適用し、疑似ラベルとプロトタイプ分布を推定。
• Mステップでは、提案された正例サンプリングとProtoCL損失を用いてオンラインネットワークを最適化し、表現を精緻化。
• トレーニングの安定化とEステップにおける疑似ラベル品質の向上を図るため、ターゲットネットワークを活用。
• 埋め込み空間におけるクラスタ内凝集性とクラスタ間分離性の両方を最大化するように、全体のフレームワークを定式化。

実験結果

リサーチクエスチョン

• RQ1 非対照的表現学習は、対照的学習における深層クラスタリングのクラス衝突問題を解消できるか？
• RQ2 負例に依存せずに、どのようにクラスタ内凝集性を向上させられるか？
• RQ3 プロトタイプレベルの対照的損失は、深層クラスタリングにおけるクラスタ間分離性を向上させられるか？
• RQ4 非対照的学習をEMフレームワークに統合することで、より良いクラスタリング性能が得られるか？

主な発見

• NCCは、複数のベンチマークデータセットで最先端の対照的および非対照的深層クラスタリング手法を上回る性能を発揮した。
• 提案された正例サンプリング戦略は、負例を回避することで、クラス衝突問題を顕著に軽減した。
• 特徴的対照的損失（ProtoCL）は、クラスタ間距離を有意に増加させ、クラスタ分離性を向上させた。
• Eステップに球面k-meansを用いたEMベースのフレームワークにより、より正確な疑似ラベルと安定したトレーニングが実現した。
• ImageNet-1Kでは、既存手法と比較して顕著な性能差を示し、優れた一般化能力を示した。
• アブレーションスタディにより、正例サンプリングとProtoCLの両成分がクラスタリング精度の向上に有効であることが確認された。