[論文レビュー] Contrastive Learning with Adversarial Examples

Chih-Hui Ho, Nuno Vasconcelos|arXiv (Cornell University)|Oct 22, 2020

Domain Adaptation and Few-Shot Learning参考文献 77被引用数 54

ひとこと要約

CLA E を導入する。対照学習（SSL）において敵対的拡張を用いてより難しい正例と負例のペアを作成する方法（CLA E）を導入し、複数のベースラインとデータセットにおける下流の分類性能を改善する。

ABSTRACT

Contrastive learning (CL) is a popular technique for self-supervised learning (SSL) of visual representations. It uses pairs of augmentations of unlabeled training examples to define a classification task for pretext learning of a deep embedding. Despite extensive works in augmentation procedures, prior works do not address the selection of challenging negative pairs, as images within a sampled batch are treated independently. This paper addresses the problem, by introducing a new family of adversarial examples for constrastive learning and using these examples to define a new adversarial training algorithm for SSL, denoted as CLAE. When compared to standard CL, the use of adversarial examples creates more challenging positive pairs and adversarial training produces harder negative pairs by accounting for all images in a batch during the optimization. CLAE is compatible with many CL methods in the literature. Experiments show that it improves the performance of several existing CL baselines on multiple datasets.

研究の動機と目的

• 対照型自己教師付き学習（SSL）におけるより難しい負例/正例ペアの必要性を動機づける。
• CL のための挑戦的なペアを生成する敵対的拡張フレームワークを提案する。
• SSL で敵対的に撹乱された正例と標準的な負例を組み合わせるトレーニングアルゴリズムである CLAE を開発する。
• 複数の CL ベースラインとデータセットに対して CLAE が下流の分類性能を改善することを示す。

提案手法

• バッチ依存的な方法で拡張を撹乱して対比損失を最大化する敵対的拡張を定義する。
• 従来の正例拡張を、クロスエントロピーロスに関して最適化された敵対的に撹乱された拡張で置換する。
• クリーンと敵対的例に対して別々のバッチ正規化を持つ AdvProp に触発された二枝分のスキームを用いて訓練し、ハイパーパラメータ alpha で損失のバランスを取る。
• 拡張の入力に対して FGSM 型更新により敵対的撹乱を計算し、バッチ全体に渡って伝播して全インスタンスを考慮する。
• 既存の CL 損失（Plain、UEL、SimCLR）と CLAE を統合し、さまざまな CL フレームワークとの互換性を示す。

実験結果

リサーチクエスチョン

• RQ1 正例と負例のペアを同時に最適化する敵対的拡張は、対照的な SSL 表現を改善するのか？
• RQ2 CL における敵対的学習（CLA E）は、データセットを超えて標準的な CL ベースラインより下流の分類器を改善するのか？
• RQ3 バッチ対応の敵対的撹乱は、従来手法と比較して SSL における hard negative mining にどのように影響するのか？
• RQ4 CLA E は異なる攻撃手法とネットワークアーキテクチャに対して頑健で、データセットを跨いでも有益であり得るのか？

主な発見

• 敵対的拡張は、ランダムな摂動よりも大きな対照的および下流のクロスエントロピー損失を誘発し、訓練ペアをより困難にする。
• CLA E は CIFAR-10、CIFAR-100、tinyImageNet の全ての検証済み CL ベースラインに対して、kNN および LR 分類器で下流分類精度を改善する。
• 敵対的訓練は epsilon 値が 0.03～0.07 程度で利得を生み、より小さなバッチサイズやより強力なアーキテクチャでも改善が見られる。
• AdvProp 風のデュアルバッチ正規化を採用することで、CLAE は安定した性能を維持し、さまざまな攻撃手法（FGSM、R-FGSM、F-FGSM、PGD）で利益が観察される。
• 長いプレテキスト訓練とより大規模なアーキテクチャは、基準 CL 手法より CLAE の利得を増幅し、難しい訓練ペアのより良い活用を示す。