[論文レビュー] Deep Clustering by Semantic Contrastive Learning

Jiabo Huang, Shaogang Gong|arXiv (Cornell University)|Mar 3, 2021

Domain Adaptation and Few-Shot Learning参考文献 44被引用数 10

ひとこと要約

本論文は、インスタンスレベルの識別とクラスターレベルのグループ化の矛盾を解消するために、クラスターフレンドリーな対照学習を明示的に強制する新しい深層クラスタリング手法、意味的対照学習（SCL）を提案する。意味的メモリとインスタンス類似度とクラスターバイアスの間の一貫性条件を導入することで、SCLは特に細分化されたおよび大規模なデータセットにおいて最先端の性能を達成し、先行手法に比べて最大17%の向上を示した。

ABSTRACT

Whilst contrastive learning has recently brought notable benefits to deep clustering of unlabelled images by learning sample-specific discriminative visual features, its potential for explicitly inferring class decision boundaries is less well understood. This is because its instance discrimination strategy is not class sensitive, therefore, the clusters derived on the resulting sample-specific feature space are not optimised for corresponding to meaningful class decision boundaries. In this work, we solve this problem by introducing Semantic Contrastive Learning (SCL). SCL imposes explicitly distance-based cluster structures on unlabelled training data by formulating a semantic (cluster-aware) contrastive learning objective. Moreover, we introduce a clustering consistency condition to be satisfied jointly by both instance visual similarities and cluster decision boundaries, and concurrently optimising both to reason about the hypotheses of semantic ground-truth classes (unknown/unlabelled) on-the-fly by their consensus. This semantic contrastive learning approach to discovering unknown class decision boundaries has considerable advantages to unsupervised learning of object recognition tasks. Extensive experiments show that SCL outperforms state-of-the-art contrastive learning and deep clustering methods on six object recognition benchmarks, especially on the more challenging finer-grained and larger datasets.

研究の動機と目的

• インスタンス対照学習とクラスタリングの目的関数に内在する矛盾、特にインスタンスレベルの分離とクラスターレベルの凝集性の間の対立を解消すること。
• ラベルなしデータに明示的にクラスタ構造を導入し、クラスターフレンドリーで判別力のある視覚特徴の学習を促進すること。
• 中間のクラスタ割り当てに依存しない頑健な表現を学習することで、深層クラスタリングにおける誤差伝搬を軽減すること。
• 特徴類似度をクラスターデシジョンバインダリーと一致させることで、学習されたクラスタの意味的妥当性を向上させること。

提案手法

• インスタンスレベルの特徴類似度とクラスターレベルの意思決定境界の間の一貫性を強制する、新しい意味的対照学習（SCL）目的関数を導入する。
• インスタンス特徴とクラスタ割り当てを両方格納する意味的メモリモジュールを採用し、インスタンスとクラスタの両方の識別を統合最適化可能にする。
• クロスクラスタインスタンス識別を採用し、各サンプルが他のすべてのサンプルではなく、他のクラスタの擬似ネガティブサンプルからのみ引き離されるようにする。
• 割り当ての安定性に基づいて損失を再重み付けすることでハードサンプルマイニングを実装し、分類が難しい曖昧なサンプルに注目する。
• 視覚的類似度を意味的クラスターバイアスと一致させるクラスタリング一貫性条件を適用し、意思決定境界の学習を向上させる。
• 複数の粒度でクラスタリングを監視するため、不足、過剰、適切な割り当てを含むマルチタスク学習スキームを採用する。

実験結果

リサーチクエスチョン

• RQ1 対照学習を、自己教師あり表現学習において意味的クラス意思決定境界を明示的に学習可能に拡張できるか？
• RQ2 自己教師あり表現学習において、インスタンスレベルの識別とクラスターレベルのグループ化の間にある本質的矛盾をどのように解消できるか？
• RQ3 インスタンス類似度とクラスターバイアスの間の一貫性を強制することで、クラスタ品質と意味的妥当性が向上するか？
• RQ4 割り当ての安定性に基づくハードサンプルマイニングは、深層クラスタリングにおけるモデル一般化を向上させることができるか？
• RQ5 複数粒度のクラスタリング監視は、視覚的曖昧性に対してどのように頑健性を向上させるか？

主な発見

• SCLは6つのオブジェクト認識ベンチマークで、最先端の対照学習および深層クラスタリング手法を上回り、特に挑戦的なデータセットで顕著な向上を示した。
• 大規模かつ細分化されたデータセットでは最大17%の相対的向上を達成し、強力なスケーラビリティと頑健性を示した。
• アブレーションスタディにより、クロスクラスタインスタンス識別とオンラインクラスタ識別の両方が不可欠であり、統合学習が最良のパフォーマンスをもたらすことが確認された。
• 特徴可視化の結果、SCLは複数のクラスタ粒度で学習した場合、ベースライン手法に比べてより凝縮され、分離性に優れたクラスタを生成した。
• SCLによる高信頼度の予測は、真のラベルと強く一致しており、意味的妥当性とモデルの信頼度が相関していることを示した。
• 失敗事例の主な原因は背景の優位性に起因しており、無教師視覚学習における注目メカニズムの最適化が依然として課題であることが示唆された。