[論文レビュー] Intriguing Properties of Contrastive Losses

Ting Chen, Calvin Luo+1 more|arXiv (Cornell University)|Nov 5, 2020

Domain Adaptation and Few-Shot Learning参考文献 37被引用数 62

ひとこと要約

この論文はコントラスト損失を一般化し、複数オブジェクトを持つ画像に対するインスタンスベース学習を検討し、局所特徴の出現を実証し、学習を阻害する特徴抑制現象を明らかにする。

ABSTRACT

We study three intriguing properties of contrastive learning. First, we generalize the standard contrastive loss to a broader family of losses, and we find that various instantiations of the generalized loss perform similarly under the presence of a multi-layer non-linear projection head. Second, we study if instance-based contrastive learning (with a global image representation) can learn well on images with multiple objects present. We find that meaningful hierarchical local features can be learned despite the fact that these objectives operate on global instance-level features. Finally, we study the phenomenon of feature suppression among competing features shared across augmented views, such as "color distribution" vs "object class". We construct datasets with explicit and controllable competing features, and show that, for contrastive learning, a few bits of easy-to-learn shared features can suppress, and even fully prevent, the learning of other sets of competing features. In scenarios where there are multiple objects in an image, the dominant object would suppress the learning of smaller objects. Existing contrastive learning methods critically rely on data augmentation to favor certain sets of features over others, and could suffer from learning saturation for scenarios where existing augmentations cannot fully address the feature suppression. This poses open challenges to existing contrastive learning techniques.

研究の動機と目的

• コントラスト損失の理解を拡張するため、アライメント項と分布項を含む一般化損失形 L_generalized を提案する。特別なケースとして標準の NT-Xent を含む。
• 深い（グローバル）コントラスト目的が、複数オブジェクトを含む画像から学習し、意味のある局所特徴を得られるかを評価する。
• 特徴抑制現象を調査し、 augmentation によって共有される特徴が他の特徴の学習を抑制する仕組みとそのデータ拡張への影響を理解する。
• 競合する特徴を定量化し、易しく学習可能な特徴が表現学習にどう影響するかを分析するための制御データセットを構築する。

提案手法

• L_generalized = L_alignment + lambda L_distribution の形の一般化コントラスト損失を提案し、標準の NT-Xent を特殊ケースとして示す。
• L_distribution には一様超球面、一様正方体、正規事前分布などのさまざまな事前分布を用い、 LogSumExp または Switched Wasserstein 距離（SWD）により分布一致を行う。
• アライメントを U|V を減少させること、分布を mutual-information の枠内でエントロピー H(U) を最大化することと関連づける。
• バッチサイズに対する感度を評価するため、深く多層の projection head を用いて instantiation を比較する。
• 多様な事前分布を可能にする SWD ベースの instantiation を導入する。
• SimCLR スタイルの設定で CIFAR-10 および ImageNet を用い、損失変種と projection head の深さを比較する。

実験結果

リサーチクエスチョン

• RQ1 深い projection head を使用した場合、一般化されたコントラスト損失はさまざまな事前分布で同様に性能を発揮できるか。
• RQ2 画像に複数のオブジェクトが含まれる場合、インスタンスベース（グローバル）コントラスト目的は意味のある局所特徴を学習できるか。
• RQ3 augmentation に共通して現れる競合特徴の存在はコントラスト学習にどう影響するか、易く学習できる特徴が他の特徴を抑制できるか。
• RQ4 制御データセットは特徴抑制の程度と現在の augmentation の限界を明らかにできるか。

主な発見

• 深い projection head を用いた CIFAR-10 と ImageNet において、一般化されたコントラスト損失間の差は小さい。
• インスタンスベースの学習は、複数のオブジェクトを含む画像から学習し、グローバル表現にもかかわらず意味のある局所特徴を回復できる。
• Explicitに競合特徴を含むデータセットでベースラインを取ると、易く学習可能な共有情報の数ビットが他の特徴の学習を抑制し、時には完全に遮断することがある。
• 多-object シナリオでは dominant な物体が小さな物体の学習を抑制することがあり、現実の混雑下でのコントラスト法の課題を示す。
• ビューに追加された余分に易しく学習可能な情報（例：ランダムビット）はコントラスト学習を完全に無効化することがある一方、VAE のような生成モデルは影響を受けにくい。
• 本研究は、データ拡張設計が学習される特徴に対して決定的に影響すること、特徴抑制を現在のコントラスト手法の根本的な限界として強調している。