[論文レビュー] Adversarial Self-Supervised Contrastive Learning

Minseon Kim, Jihoon Tack+1 more|arXiv (Cornell University)|Jun 13, 2020

Adversarial Robustness in Machine Learning参考文献 47被引用数 83

ひとこと要約

RoCLは、自己监督型対比学習フレームワーク内でインスタンスごとの敵対的攻撃を実行することにより、ラベルなしで敵対的に頑健なニューラルネットワークを訓練し、教師あり法と同等の頑健性と強い転移性を達成します。

ABSTRACT

Existing adversarial learning approaches mostly use class labels to generate adversarial samples that lead to incorrect predictions, which are then used to augment the training of the model for improved robustness. While some recent works propose semi-supervised adversarial learning methods that utilize unlabeled data, they still require class labels. However, do we really need class labels at all, for adversarially robust training of deep neural networks? In this paper, we propose a novel adversarial attack for unlabeled data, which makes the model confuse the instance-level identities of the perturbed data samples. Further, we present a self-supervised contrastive learning framework to adversarially train a robust neural network without labeled data, which aims to maximize the similarity between a random augmentation of a data sample and its instance-wise adversarial perturbation. We validate our method, Robust Contrastive Learning (RoCL), on multiple benchmark datasets, on which it obtains comparable robust accuracy over state-of-the-art supervised adversarial learning methods, and significantly improved robustness against the black box and unseen types of attacks. Moreover, with further joint fine-tuning with supervised adversarial loss, RoCL obtains even higher robust accuracy over using self-supervised learning alone. Notably, RoCL also demonstrate impressive results in robust transfer learning.

研究の動機と目的

• ラベルなしで深層ネットの頑健性を敵対的訓練で動機づける。
• ラベルを必要としないインスタンスごとの敵対的攻撃を提案する。
• RoCLを開発し、対比学習を通じてクリーンなビューとインスタンスごとに摂動された拡張ビューの類似性を最大化する。
• ホワイトボックス、ブラックボックス、未知の攻撃に対する頑健性を示し、転移学習の能力を評価する。

提案手法

• ラベルなしでインスタンスの同一性を混乱させるインスタンスごとの敵対的摂動を導入する。
• 自己教師付き対比学習（SimCLR風）を拡張し、正例集合に敵対的摂動を取り入れる。
• RoCL目的を、拡張されたビューと敵対的に摂動されたビューに対する対比損失と、敵対的例を組み込む正則化項（L_RoCL）を組み合わせて定義する。
• 内側のmaxが、変換されたサンプルをepsilon-ボール内で摂動し、対比損失を最大化するmin-max形式を用いる。
• 変換平滑化推論を採用し、変換平均化されたより頑健な予測を得る。
• 教師なし訓練後のクラスレベルの頑健性を評価するため、線形評価と頑健線形評価（r-LE）をサポートする。

実験結果

リサーチクエスチョン

• RQ1 自己教師付き学習を用いて、クラスラベルなしで堅牢な敵対的訓練を実現できるのか？
• RQ2 拡張ビューに対するインスタンスごとの敵対的摂動は、未知の攻撃を含むさまざまな攻撃タイプに対して頑健な表現の学習を可能にするか？
• RQ3 頑健性とクリーン精度の観点で、RoCLは監視ありの敵対的手法とどのように比較されるか、他のデータセットへ転移できるか？
• RQ4 拡張の変換と平均化（ transformation smoothed classifier）により、頑健性と精度は向上するか？
• RQ5 RoCLを監督ありの敵対的微調整や転移学習と組み合わせることの効果は何か？

主な発見

• RoCLは、ラベルなしの訓練でCIFAR-10に対して強力な教師あり敵対的方法と同等の頑健性を達成する。
• RoCLは、ブラックボックスおよび未知の攻撃タイプに対して、いくつかのベースラインと比較して著しく頑健性を改善する。
• ジョイントファインチューニングは、クリーンな精度を犠牲にすることなく、より高い頑健精度をもたらす可能性がある。
• RoCLはCIFAR-10とCIFAR-100の転移学習シナリオで印象的な頑健性を示す。
• Transformation smoothed推論は、特定の攻撃下でさらに頑健性とクリーン精度を向上させる。