[論文レビュー] Robust Pre-Training by Adversarial Contrastive Learning

Ziyu Jiang, Tianlong Chen+2 more|arXiv (Cornell University)|Oct 26, 2020

Adversarial Robustness in Machine Learning参考文献 46被引用数 72

ひとこと要約

本論文はAdversarial Contrastive Learning (ACL) の3つの Variante を提案し、Dual-Stream (DS) を最良と選定して、敵対的撹乱およびデータ拡張に対して頑健な表現を事前学習し、監視あり・半監視設定の両方で頑健性と標準精度を向上させる。

ABSTRACT

Recent work has shown that, when integrated with adversarial training, self-supervised pre-training can lead to state-of-the-art robustness In this work, we improve robustness-aware self-supervised pre-training by learning representations that are consistent under both data augmentations and adversarial perturbations. Our approach leverages a recent contrastive learning framework, which learns representations by maximizing feature consistency under differently augmented views. This fits particularly well with the goal of adversarial robustness, as one cause of adversarial fragility is the lack of feature invariance, i.e., small input perturbations can result in undesirable large changes in features or even predicted labels. We explore various options to formulate the contrastive task, and demonstrate that by injecting adversarial perturbations, contrastive pre-training can lead to models that are both label-efficient and robust. We empirically evaluate the proposed Adversarial Contrastive Learning (ACL) and show it can consistently outperform existing methods. For example on the CIFAR-10 dataset, ACL outperforms the previous state-of-the-art unsupervised robust pre-training approach by 2.99% on robust accuracy and 2.14% on standard accuracy. We further demonstrate that ACL pre-training can improve semi-supervised adversarial training, even when only a few labeled examples are available. Our codes and pre-trained models have been released at: https://github.com/VITA-Group/Adversarial-Contrastive-Learning.

研究の動機と目的

• unlabeled データを活用して視覚タスクにおけるラベル効率の良い頑健なモデル学習を動機づける。
• コントラスト学習の自己監督と敵対的トレーニングを統合して、拡張と撹乱下で特徴の一貫性を確保する。
• 複数の ACL 形式 (A2A, A2S, DS) を探究し、最良の設定を特定する。
• CIFAR-10/100 における完全教師ありおよび半教師あり微調整で頑健性と精度の改善を実証する。

提案手法

• データ拡張 under で不変表現を学ぶために SimCLR コントラスト学習を基盤とする。
• 3つの ACL 変種を導入する：Adversarial-to-Adversarial (A2A)、Adversarial-to-Standard (A2S)、および Dual-Stream (DS)。
• A2A では2つの拡張ビューの敵対的撹乱を生成し、それらの類似性損失を最大化する。
• A2S では1つのビューを撹乱し、もう1つは標準のままにして、統計を分離するためにDual Batch Normalization (BN) を用いる。
• DS では標準ビュー対敵対的ビューの組み合わせを2つの BR ブランチで共有重みだが BN は分離して、標準と頑健な目的のバランスを取る。
• ACL の事前学習を用いた教師あり微調整と、特定の損失（交差エントロピー、蒸留、頑健性正則化をブレンドする損失）を用いる半教師あり学習パイプラインを提供する。
• 訓練の詳細を強調：前提学習は1000エポック、事前学習時のPGDベース撹乱（5ステップ）、微調整時は標準 AT。

実験結果

リサーチクエスチョン

• RQ1 コントラスト学習の事前学習を敵対的ビューをコントラスト目的に注入することで敵対撹乱に頑健化できるか。
• RQ2 どのACL変種 (A2A, A2S, DS) が標準精度と頑健性の最良のトレードオフを生むか。
• RQ3 ACL事前学習は半監視設定におけるラベル効率のある敵対的トレーニングを改善するか、極端に少ないラベル域を含む場合も？
• RQ4 敵対的および標準ブランチを用いる際のデュアル BN 設定は頑健性と標準精度にどう影響するか。
• RQ5 敵対的コントラスト学習前学習は敵対的評価下でより直線的に分離可能な表現を生み出すか？

主な発見

• ACL Dual-Stream (DS) 前学習は CIFAR-10 および CIFAR-100 で従来の頑健な事前学習法と比較して TA/RA の最先端を達成した。
• CIFAR-10 では DS が TA 82.19% および RA 52.82% を達成し、前のベストより TA が 2.14%、RA が 2.99% 向上。
• CIFAR-100 では DS が TA 56.77% および RA 28.33% を達成し、前のベストより TA が 2.14%、RA が 3.58% 向上。
• ラベルの割合が 10% の半教師あり設定では ACL (DS) が Selfie/UAT++ 系のベースラインより TA を 4.50%、RA を 0.72% 向上し、ラベルが 1% の場合でもギャップは大きく（例：DS 75.66 TA, 50.67 RA、他ははるかに低い）残る。
• ACL 前学習は偽ラベル精度を高め（例 86.73%）ベースライン（例 37.67% または 46.75%）より高く、半教師ありの頑健性の向上に寄与。
• アブレーションにより DS は A2A および A2S より頑健性と特徴品質のバランスで上回り、SimCLR (S2S) は TA を改善するが RA を大幅には改善しない。
• テスト時にデュアル BN (adv) を使用することで単一 BN より頑健性が高く、頑健な評価には通常 DS が好まれる。
• ACL (DS) 前学習から微調整を始めると頑健性の向上が早く進み、ランダム初期化よりも早い段階で RA が高くなり、頑健性のダイナミクスは学習率スケジュールに依存する。