[論文レビュー] Doubly Contrastive Deep Clustering

Zhiyuan Dang, Cheng Deng+2 more|arXiv (Cornell University)|Mar 9, 2021

Face and Expression Recognition参考文献 51被引用数 11

ひとこと要約

本稿では、データ拡張を用いてサンプルレベルおよびクラスレベルの両方で同時に対照学習を適用する、新たな深層クラスタリングフレームワークであるDoubly Contrastive Deep Clustering（DCDC）を提案する。サンプル単位およびクラス単位の対照損失を最適化することで、DCDCは最先端の性能を達成し、従来手法と比較して挑戦的なTiny-ImageNetデータセットにおいて5.6%の精度向上を達成した。

ABSTRACT

Deep clustering successfully provides more effective features than conventional ones and thus becomes an important technique in current unsupervised learning. However, most deep clustering methods ignore the vital positive and negative pairs introduced by data augmentation and further the significance of contrastive learning, which leads to suboptimal performance. In this paper, we present a novel Doubly Contrastive Deep Clustering (DCDC) framework, which constructs contrastive loss over both sample and class views to obtain more discriminative features and competitive results. Specifically, for the sample view, we set the class distribution of the original sample and its augmented version as positive sample pairs and set one of the other augmented samples as negative sample pairs. After that, we can adopt the sample-wise contrastive loss to pull positive sample pairs together and push negative sample pairs apart. Similarly, for the class view, we build the positive and negative pairs from the sample distribution of the class. In this way, two contrastive losses successfully constrain the clustering results of mini-batch samples in both sample and class level. Extensive experimental results on six benchmark datasets demonstrate the superiority of our proposed model against state-of-the-art methods. Particularly in the challenging dataset Tiny-ImageNet, our method leads 5.6\% against the latest comparison method. Our code will be available at \url{https://github.com/ZhiyuanDang/DCDC}.

研究の動機と目的

• データ拡張によって生じるポジティブおよびネガティブペアを無視する既存の深層クラスタリング手法の性能が最適でない問題に対処すること。
• サンプルおよびクラスの両視点からの対照学習を同時に活用することでクラスタリング性能を向上させること。
• より判別性の高い表現を得るために、サンプル単位およびクラス単位の対照損失を統合的に最適化する統一フレームワークを設計すること。
• 対照ベースの深層クラスタリングにおける有効なトレーニング戦略、例えばサンプルの繰り返しとバッチサイズの選定を調査すること。

提案手法

• 本手法は、データ拡張からポジティブペアおよびネガティブペアを構築する：元のサンプルとその拡張サンプルがポジティブペアを形成し、他のサンプルの異なる拡張がネガティブペアを形成する。
• サンプル単位の対照損失を適用して、特徴空間内でのポジティブペアを近づけ、ネガティブペアを遠ざける。
• 元のサンプルとその拡張サンプルのクラス分布をポジティブペアとして扱い、他のクラス分布をネガティブペアとして扱うことで、クラス単位の対照損失を導入する。
• エンド・トゥ・エンドのトレーニング中に両方の対照損失を統合的に最適化することで、特徴表現とクラスタリング割り当てを精緻化する。
• 分類ヘッドを備えたバックボーンネットワークを用い、クラスタリング割り当ての前に行われる出力特徴に、対照損失を適用する。
• 過剰クラスタリング、サンプルの繰り返し、バッチサイズに関する消去実験を実施し、有効なトレーニング実践を同定する。

実験結果

リサーチクエスチョン

• RQ1 サンプルおよびクラスの両レベルで対照学習を同時に最適化することで、深層クラスタリング性能が向上するか？
• RQ2 データ拡張から導かれるポジティブおよびネガティブペアを明示的にモデル化した場合、クラスタリング品質にどのような影響を与えるか？
• RQ3 サンプルの繰り返しとバッチサイズは、対照ベースの深層クラスタリングにどのような影響を及ぼすか？
• RQ4 提案された二重視点対照損失は、よりブロック対角構造の明確なサンプル単位の類似度行列と、対角に近いクラス単位の類似度行列をもたらすか？

主な発見

• DCDCは6つのベンチマークデータセットで最先端の性能を達成し、最新手法と比較してTiny-ImageNetで5.6%の精度向上を達成した。
• CIFAR-100では34.9%の精度を達成し、ベースライン手法を5.1ポイント上回った。
• t-SNEの可視化結果から、DCDCはPICAと比較してよりコンパクトで明確に分離されたクラスタを生成しており、特徴の判別性が優れていることが示された。
• DCDCのサンプル単位の類似度行列は、PICAと比較してはっきりとしたブロック対角構造を示しており、サンプル単位の対照学習の有効性を確認した。
• DCDCのクラス単位の類似度行列は対角に近づき、クラス単位の対照損失がクラスレベルのクラスタリングの一貫性を向上させたことを示した。
• サンプルの繰り返しにより性能がわずかに向上し、CIFAR-100では精度が32.8%から34.9%に上昇した。これは特徴抽出の強化を示唆している。