[論文レビュー] Prototypical Contrastive Learning of Unsupervised Representations

Junnan Li, Pan Zhou+2 more|arXiv (Cornell University)|May 11, 2020

Domain Adaptation and Few-Shot Learning参考文献 55被引用数 483

ひとこと要約

Prototypical Contrastive Learning (PCL) は、プロトタイプを導入し EM ベースのトレーニングループを組み合わせて、対照学習とクラスタリングを統合する。これにより、意味的構造をエンコードし、自己教師あり設定での転移を改善する表現を得る。

ABSTRACT

This paper presents Prototypical Contrastive Learning (PCL), an unsupervised representation learning method that addresses the fundamental limitations of instance-wise contrastive learning. PCL not only learns low-level features for the task of instance discrimination, but more importantly, it implicitly encodes semantic structures of the data into the learned embedding space. Specifically, we introduce prototypes as latent variables to help find the maximum-likelihood estimation of the network parameters in an Expectation-Maximization framework. We iteratively perform E-step as finding the distribution of prototypes via clustering and M-step as optimizing the network via contrastive learning. We propose ProtoNCE loss, a generalized version of the InfoNCE loss for contrastive learning, which encourages representations to be closer to their assigned prototypes. PCL outperforms state-of-the-art instance-wise contrastive learning methods on multiple benchmarks with substantial improvement in low-resource transfer learning. Code and pretrained models are available at https://github.com/salesforce/PCL.

研究の動機と目的

• 無監視の視覚表現において意味構造を捉えるため、対照学習とクラスタリングを橋渡しする。
• ネットワークパラメータの EM スタイル最適化を可能にする潜在変数としてプロトタイプを導入する。
• プロトNCE を開発し、プロトタイプに基づく濃度推定を用いる一般化対照損失。
• ベンチマーク全体で転移学習とクラスタリング品質の改善を実証する。

提案手法

• プロトタイプを潜在変数とする EM アルゴリズムとして PCL を定式化する。
• Eステップ: 勢いエンコードされた特徴量上で k-means を実行してプロトタイプを得ることで各サンプルをクラスタに割り当てる。
• Mステップ: インスタンスレベルの InfoNCE とプロトタイプベースの項を組み合わせた損失 ProtoNCE を最小化してネットワークパラメータを更新する。
• 割り当てのソフトさを適応させるため、各プロトタイプの濃度推定 phi を導入する。
• 複数の粒度でサンプルをクラスタリングするため、複数の K 値を用いて損失を集約する。
• ProtoNCE は InfoNCE に似た形に還元される一方で、プロトタイプを介した意味構造学習を可能にする。

実験結果

リサーチクエスチョン

• RQ1 クラスタリングプロトタイプを対照学習に組み込むことで、インスタンス識別を超えた意味構造を反映する埋め込みを得られるだろうか？
• RQ2 EMベースのプロトタイプ枠組みは、純粋なインスタンス指向の対照法と比較して転移学習とクラスタリング品質を改善するか？

主な発見

• PCL は複数のベンチマークで最新のインスタンス単位対照法を上回り、特に低資源転移設定で顕著に効果を発揮する。
• ProtoNCE はクラスタサイズの均衡を取り、単純崩壊を防ぐ動的な濃度推定を取り入れている。
• プロトタイプはクラスラベルとの相互情報量がインスタンス特徴より高く、より豊かな意味的符号化を示す。
• PCL は ImageNet でAMIなどのクラスタリング指標を改善し、凍結された backbone として用いた場合物体検出性能も向上する。
• PCL v2 および関連実装は線形分類と半教師あり転移の結果をさらに向上させる。