[論文レビュー] Joint Contrastive Learning with Infinite Possibilities

Qi Cai, Yu Wang+3 more|arXiv (Cornell University)|Sep 30, 2020

Domain Adaptation and Few-Shot Learning参考文献 48被引用数 11

ひとこと要約

本稿では、同一画像のデータオーグメンテーションから得られる無限個のポジティブなクエリ-キー対を確率的モデリングによって暗黙的にモデル化することで、不変特徴の学習にきめ細かい制約を課す、新しい対照的学習フレームワークであるJoint Contrastive Learning (JCL) を提案する。解析的に取り扱いやすい上界を導出することで、JCL はエンド・トゥ・エンドの学習を可能にし、複数のビジョンベンチマークで最先端の性能を達成しており、一部のケースでは教師ありベースラインを上回っている。

ABSTRACT

This paper explores useful modifications of the recent development in contrastive learning via novel probabilistic modeling. We derive a particular form of contrastive loss named Joint Contrastive Learning (JCL). JCL implicitly involves the simultaneous learning of an infinite number of query-key pairs, which poses tighter constraints when searching for invariant features. We derive an upper bound on this formulation that allows analytical solutions in an end-to-end training manner. While JCL is practically effective in numerous computer vision applications, we also theoretically unveil the certain mechanisms that govern the behavior of JCL. We demonstrate that the proposed formulation harbors an innate agency that strongly favors similarity within each instance-specific class, and therefore remains advantageous when searching for discriminative features among distinct instances. We evaluate these proposals on multiple benchmarks, demonstrating considerable improvements over existing algorithms. Code is publicly available at: https://github.com/caiqi/Joint-Contrastive-Learning.

研究の動機と目的

• 既存の対照的学習手法が、同じ画像の複数のオーグメンテーション間の統計的依存関係を無視して個々のポジティブペアを独立して扱うという限界を是正すること。
• すべてのオーグメンテーションの同時類似度を捉える理論的根拠があり、スケーラブルな対照的損失を構築すること。
• 提案された損失の解析的に解ける上界を導出し、エンド・トゥ・エンドの深層ネットワーク学習を可能にすること。
• JCL が同じ画像の多様なオーグメンテーションにわたる特徴の一貫性と不変性を促進することを実証的に検証すること。
• 特定の下流タスクにおいて、教師なしのJCL事前学習が教師あり事前学習を上回ることを示すこと。

提案手法

• JCL は、同一画像のデータオーグメンテーションから得られる無限個のポジティブなクエリ-キー対の同時類似度をモデル化することで、対照的学習を定式化する。
• この手法は、すべてのポジティブペアの同時分布を表現するための確率的フレームワークを採用し、Jensenの不等式を用いて損失の取り扱いやすい上界を導出する。
• 導出された上界は解析的に解けるとともに微分可能であり、すべてのポジティブペアを明示的にサンプリングする必要なく、深層ニューラルネットワークのエンド・トゥ・エンド学習を可能にする。
• 損失関数は、与えられた画像のすべてのオーグメンテーションにわたる一貫した特徴表現を促進するように設計されており、データオーグメンテーションに対する不変性を高める。
• ソフトマックスの温度パラメータは学習プロセスの中で最適化され、アブレーションスタディにより、そのパrameterがポジティブペアの信頼性と一般化性能のバランスを決定づける重要な役割を果たすことが示された。
• フレームワークは標準的なCNN（例：ResNet-18）を用いて実装され、ImageNet100 や CIFAR-100 などの標準ベンチマークで評価された。

実験結果

リサーチクエスチョン

• RQ1 1つのインスタンスあたり無限個のポジティブペアをモデル化することで、対照的学習における特徴の不変性と表現品質が向上するか？
• RQ2 確率的バウンディングを用いて導出された提案されたJCL損失は、理論的厳密性を保ちつつ実用的に訓練可能か？
• RQ3 既存の対照的および教師あり手法と比較して、JCL は一般化性能および下流ビジョンタスクの性能をどの程度向上させるか？
• RQ4 複数のオーグメンテーションの同時モデリングは、同じインスタンス内での特徴の一貫性と分散にどのような影響を与えるか？
• RQ5 教師なしのJCL事前学習戦略は、特定の状況において教師あり事前学習を上回るか？

主な発見

• JCL は、同じ画像の32個のオーグメンテーション間の平均コサイン類似度が約0.92（MoCo v2の約0.85）に達するなど、顕著に高い一貫性を示している。
• JCL におけるオーグメンテーション間の特徴の分散は、MoCo v2 よりも顕著に低く、モデルが不変表現を学習できていることを確認している。
• ImageNet100 では、JCL が線形評価でトップ1精度78.4％を達成し、MoCo v2（76.9％）および他の最先端の対照的手法を上回った。
• CIFAR-100 では、JCL が線形評価で85.6％の精度を達成し、MoCo v2（83.2％）および他の対照的ベースラインを上回った。
• JCL で事前学習されたモデルは、いくつかの下流タスクにおいて教師あり対応モデルを上回り、教師なし事前学習の強力さを示している。
• アブレーションスタディにより、温度ハイパーパrameterが性能に顕著な影響を及ぼすことが判明し、最適な値がポジティブペアの信頼性と一般化性能のバランスをとる上で不可欠であることが示された。