[論文レビュー] Adversarial Robustness: From Self-Supervised Pre-Training to Fine-Tuning

Tianlong Chen, Sijia Liu+4 more|arXiv (Cornell University)|Mar 28, 2020

Adversarial Robustness in Machine Learning参考文献 42被引用数 33

ひとこと要約

本論文は敵対的自己教師付け事前学習を提案し、それに続く敵対的ファインチューニングを通じて堅牢性を向上させ、CIFAR-10で顕著な利得を示し、複数の自己教師タスクに対するアンサンブル戦略を可能にする。

ABSTRACT

Pretrained models from self-supervision are prevalently used in fine-tuning downstream tasks faster or for better accuracy. However, gaining robustness from pretraining is left unexplored. We introduce adversarial training into self-supervision, to provide general-purpose robust pre-trained models for the first time. We find these robust pre-trained models can benefit the subsequent fine-tuning in two ways: i) boosting final model robustness; ii) saving the computation cost, if proceeding towards adversarial fine-tuning. We conduct extensive experiments to demonstrate that the proposed framework achieves large performance margins (eg, 3.83% on robust accuracy and 1.3% on standard accuracy, on the CIFAR-10 dataset), compared with the conventional end-to-end adversarial training baseline. Moreover, we find that different self-supervised pre-trained models have a diverse adversarial vulnerability. It inspires us to ensemble several pretraining tasks, which boosts robustness more. Our ensemble strategy contributes to a further improvement of 3.59% on robust accuracy, while maintaining a slightly higher standard accuracy on CIFAR-10. Our codes are available at https://github.com/TAMU-VITA/Adv-SS-Pretraining.

研究の動機と目的

• 敵対的前学習がファインチューニング時の下流タスクのロバスト性を改善するかを調査する。
• 敵対的前学習と敵対的ファインチューニングのロバスト性と効率の比較。
• 異なる自己教師付け前学習タスクが最終モデルのロバスト性にどう影響するかを評価する。
• ロバスト性を高めるために、前学習タスクを横断したアンサンブル戦略を探究する。

提案手法

• 複数の自己教師付け前学習タスク（Selfie、Rotation、Jigsaw）に敵対的学習を組み込む。
• 堅牢な事前学習モデルから部分的または全パラメータ再利用を用いて、下流タスクで分類器をファインチューニングする。
• 複数の前学習タスクを結合するため、多様性促進正則化子を備えたアンサンブル目的を提案する。
• PGD攻撃および未知の攻撃下で、CIFAR-10および CIFAR-10-C に対する標準精度と堅牢性の精度を評価する。
• 単一の自己教師付けタスクで規制されたワンショット敵対的学習と比較する。
• データセットサイズ、入力解像度、および防御オプションに関するアブレーションを行う。

実験結果

リサーチクエスチョン

• RQ1 Q1. 敵対的前学習は下流のファインチューニングのロバスト性を改善できるか？
• RQ2 Q2. ロバスト性と効率の観点で、敵対的前学習と敵対的ファインチューニングのどちらがより効果的か？
• RQ3 Q3. 自己教師付け前学習タスクの選択は最終的なロバスト性にどう影響するか？
• RQ4 Q4. 自己教師付け前学習タスクのアンサンブルはさらにロバスト性を高めることができるか？

主な発見

• 敵対的ファインチューニングに使用した堅牢な事前学習モデルは大きな利得を生み、例えば CIFAR-10 で堅牢精度が3.83%改善され、標準精度が1.3%向上した。
• 敵対的ファインチューニングがロバスト性に最も寄与し、堅牢な前学習は主にファインチューニングを加速する。
• 異なる自己教師付けタスクには多様な敵対的脆弱性があり、アンサンブル前学習によるロバスト性向上を促す。
• 三つの前学習タスクを敵対的ファインチューニングと組み合わせると、CIFAR-10（AT設定）で堅牢性精度54.64%、標準精度86.04%を達成する。
• 敵対的前学習と完全な敵対的ファインチューニングを組み合わせると、エンドツーエンドATよりエポック数が少なく済み、効率の向上を示す。
• 回転正則化を伴うワンショットATと比較して、提案手法は複数回の試行にわたり未知の攻撃に対するロバスト性を改善する。