[論文レビュー] Contrastive Learning with Consistent Representations

Zihu Wang, Yu Wang+3 more|arXiv (Cornell University)|Feb 3, 2023

Domain Adaptation and Few-Shot Learning被引用数 5

ひとこと要約

本稿では、データ増幅の強度に応じて類似度が単調に減少するように制御する、データ駆動型の単調なニューラルネットワークを用いて、DA整合性を強制するコントラスト学習フレームワークCoCorを提案する。この手法により、強いデータ増幅がより類似度の低い表現を生成するよう保証され、最適な類似度値は増幅強度に基づいて学習される。ResNet-50を用いたImageNetにおける線形評価では、200エポックの事前学習で72.8%のトップ1精度を達成し、より長い事前学習スケジュールを用いた先行SOTA手法を上回る。

ABSTRACT

Contrastive learning demonstrates great promise for representation learning. Data augmentations play a critical role in contrastive learning by providing informative views of the data without necessitating explicit labels. Nonetheless, the efficacy of current methodologies heavily hinges on the quality of employed data augmentation (DA) functions, often chosen manually from a limited set of options. While exploiting diverse data augmentations is appealing, the complexities inherent in both DAs and representation learning can lead to performance deterioration. Addressing this challenge and facilitating the systematic incorporation of diverse data augmentations, this paper proposes Contrastive Learning with Consistent Representations CoCor. At the heart of CoCor is a novel consistency metric termed DA consistency. This metric governs the mapping of augmented input data to the representation space, ensuring that these instances are positioned optimally in a manner consistent with the applied intensity of the DA. Moreover, we propose to learn the optimal mapping locations as a function of DA, all while preserving a desired monotonic property relative to DA intensity. Experimental results demonstrate that CoCor notably enhances the generalizability and transferability of learned representations in comparison to baseline methods.

研究の動機と目的

• コントラスト表現学習における多様なデータ増幅の不一致な使用が引き起こす性能低下を是正すること。
• 手動で選択された限定的な増幅セットに依存せずに、多数の合成データ増幅を体系的かつ効果的に統合すること。
• より強い増幅が、次第に類似度が低い表現を生成するという望ましい性質を強制し、表現品質を向上させること。
• 増幅の組み合わせから潜在空間における最適類似度への学習可能な単調なマッピングを開発すること。

提案手法

• 基本的な増幅の種別、回数、強度を符号化するコンpositionベクトルで表される合成増幅セットAを導入する。
• DA整合性を、元の入力と比較してより強い増幅がより類似度の低い潜在表現を生成するべきであるという原則として定義する。
• 学習された最適類似度関数からの逸脱をペナルティ化することで、この原則を強制する一貫性損失を提案する。
• 増幅の組み合わせベクトルから最適類似度値へのマッピングを学習するブラックボックスニューラルネットワークを、二段階最適化フレームワークを用いて訓練する。
• より強い増幅が常に小さい類似度値を生成するように、ニューラルネットワークに部分的な単調性制約を課す。
• 事前の知識を必要とせず、ラベルなしデータとエンドツーエンド学習を用いて最適類似度関数をデータ駆動型で学習するアプローチを採用する。

実験結果

リサーチクエスチョン

• RQ1 多様で多数のデータ増幅を性能の低下を伴わずにコントラスト学習に効果的に統合する体系的な手法を開発できるか？
• RQ2 増幅強度と表現類似度の関係をどのようにモデル化すれば、潜在空間における一貫性を確保できるか？
• RQ3 増幅の組み合わせから類似度へのマッピングに単調性を強制することで、表現品質にどのような影響を与えるか？
• RQ4 学習可能なデータ駆動型類似度関数は、固定または手動で調整された類似度閾値を上回ることができるか？

主な発見

• CoCorは、ResNet-50を用いたImageNetで200エポックの事前学習のみで72.8%の線形評価トップ1精度を達成し、200エポック未満のすべてのベースラインを上回った。
• 同じマルチクロップ戦略を用いるSwAVよりも優れた性能を示しており、CoCorの多様な増幅戦略が追加の表現的利点をもたらしていることを示している。
• VOC07オブジェクト検出では、200エポックの事前学習で24.6%のAPsを達成し、MoCo v2の20.8%を3.8%上回った。これは、小サイズオブジェクト検出における優れた一般化性能を示している。
• アブレーションスタディでは、部分的な単調性を持つニューラルネットワークを用いることで、CIFAR-10における線形評価精度が50.20%から52.04%に向上した。これは、適応的で単調な類似度学習の有効性を確認している。
• 単調なニューラルネットワークは、変換の種別と強度のばらつきを効果的に捉えており、増幅強度と表現の類似度の低下の間の整合性を高めている。
• 二段階最適化フレームワークは、限られたラベル付きデータを用いて類似度ネットワークを効果的に訓練でき、エンドツーエンド最適化によりエンコーダの性能向上を実現した。