[論文レビュー] Using Self-Supervised Learning Can Improve Model Robustness and Uncertainty

Dan Hendrycks, Mantas Mazeika+2 more|arXiv (Cornell University)|Jun 28, 2019

Adversarial Robustness in Machine Learning参考文献 39被引用数 343

ひとこと要約

本研究は、自己教師付きの回転予測が敵対的摂動、ラベルノイズ、一般的な破損への頑健性を改善し、分布外検出を大幅に強化することを示しており、場合によっては完全に監視された方法を上回ることさえある。

ABSTRACT

Self-supervision provides effective representations for downstream tasks without requiring labels. However, existing approaches lag behind fully supervised training and are often not thought beneficial beyond obviating or reducing the need for annotations. We find that self-supervision can benefit robustness in a variety of ways, including robustness to adversarial examples, label corruption, and common input corruptions. Additionally, self-supervision greatly benefits out-of-distribution detection on difficult, near-distribution outliers, so much so that it exceeds the performance of fully supervised methods. These results demonstrate the promise of self-supervision for improving robustness and uncertainty estimation and establish these tasks as new axes of evaluation for future self-supervised learning research.

研究の動機と目的

• ラベル付きデータが不足している場合や、ラベルなし信号が有用な場合に、頑健で信頼できるモデルを動機づける。
• 自己監督 objective が敵対的例、ラベル破損、入力の破損に対する頑健性を高めるかを調査する。
• 厳しい近分布条件下での分布外検出に対する自己監視の影響を検討する。

提案手法

• 自己教師付き損失を用いて、画像の回転（0、90、180、270度）を予測する補助ヘッドを備えた分類器を訓練する。
• 標準的な監督付きクロスエントロピー損失と、回転に基づく自己教師付き損失を結合し、λ（0.5に設定）で加重する。
• 訓練中に分類損失と回転損失の両方を最大化するように、PGD対抗訓練目的を変更する。
• WRN-40-2ネットワークを用いて、敵対的摂動（PGD20ステップおよび100ステップ）と一般的な破損（CIFAR-10-C）に対する頑健性を評価する。
• 回転ベースの自己監視を監督付き表現に追加し、KLダイバージェンスと回転スコア検出器を用いてOOD検出をテストする。
• ImageNetへの実験を拡張し、より大きな自己教師付き目的とアーキテクチャのバリエーション（例：自己注意機構）でOOD性能を向上させる。

実験結果

リサーチクエスチョン

• RQ1 自己教師付き学習は、標準の対抗訓練を超える敵対的摂動に対する頑健性を向上させることができるか？
• RQ2 回転ベースの自己監視は、一般的な入力破損およびラベルノイズに対する頑健性を高めるか？
• RQ3 自己監視は、特に近分布のOODケースに対する分布外検出を向上させることができるか？
• RQ4 自己教師付き技術はImageNetのようなより大規模データセットへスケールし、完全に監督されたモデルを上回る利得をもたらすか？

主な発見

• 補助的な回転自己監視は、20ステップおよび100ステップの双方の敵対者に対する標準PGD訓練より5.6ポイントの改善をもたらす。
• 回転ベースのアプローチは、PGD訓練より最大で11%大きい摂動にも耐え、性能低下を生まない。
• TRADESと組み合わせた場合、回転は頑健精度でTRADESを1.22ポイント上回り、PGD訓練を7.79ポイント上回る。
• CIFAR-10-Cでは、回転自己監視により平均頑健性が72.3%から76.9%へと向上（4.6ポイント）、クリーン精度はほぼ一定のまま。
• 分布外検出では、回転ベースの自己監視が、CIFAR-10実験でベースラインの最大ソフトマックス確率法より平均4.8ポイントAUROCを改善。
• CIFAR-10のワンショットOODタスクでは、自己監視RotNetベースの検出器が、いくつかの完全教師付きおよび他の自己監視のベースラインを上回り、アウトライアデータを用いる方法を含めて一部を上回る。