[論文レビュー] Using Pre-Training Can Improve Model Robustness and Uncertainty

Dan Hendrycks, Kimin Lee+1 more|arXiv (Cornell University)|Jan 28, 2019

Fault Detection and Control Systems被引用数 429

ひとこと要約

事前学習は従来の精度を必ずしも向上させるとは限らないが、ロバスト性と不確実性推定を大幅に向上させ、敵対的ロバストネス、ラベルノイズ耐性、クラス不均衡の扱い、OOD検出、キャリブレーションを含む。

ABSTRACT

He et al. (2018) have called into question the utility of pre-training by showing that training from scratch can often yield similar performance to pre-training. We show that although pre-training may not improve performance on traditional classification metrics, it improves model robustness and uncertainty estimates. Through extensive experiments on adversarial examples, label corruption, class imbalance, out-of-distribution detection, and confidence calibration, we demonstrate large gains from pre-training and complementary effects with task-specific methods. We introduce adversarial pre-training and show approximately a 10% absolute improvement over the previous state-of-the-art in adversarial robustness. In some cases, using pre-training without task-specific methods also surpasses the state-of-the-art, highlighting the need for pre-training when evaluating future methods on robustness and uncertainty tasks.

研究の動機と目的

• 従来の精度を超えて、事前学習がロバストネスと不確実性に利益をもたらすかを動機づけ、検討する。
• 敵対的ロバストネス、ラベルの改ざん、クラス不均衡に対する事前学習の効果を定量化する。
• 事前学習済み表現によるアウトオブディストリビューション検出とキャリブレーションの改善を評価する。

提案手法

• Downsampled ImageNetで事前学習を行い、時にはCIFAR-10に関連するクラスを除去してから、ターゲットタスクでファインチューニングする。
• 未標的攻撃と敵対的学習のバリアントを用いて、敵対的摂動に対するロバスト性を評価する。
• 制御されたラベルノイズを用いてラベル破損耐性を評価し、Forward CorrectionとGold Loss Correction (GLC)と比較する。
• パワー則データ分布を用いてクラス不均衡耐性を評価し、事前学習と標準ベースラインを比較する。
• OOD検出指標（AUROC、AUPR）とキャリブレーション誤差（RMS、MAD）で不確実性を測定する。
• 敵対的事前学習が分布を跨いでロバストな特徴を転移し、以前の最先端を上回ることを実証する。

実験結果

リサーチクエスチョン

• RQ1 事前学習はスクラッチからの訓練を超えて、敵対的摂動に対するロバスト性を向上させるか？
• RQ2 事前学習はタスク特有の手法よりもラベルノイズやクラス不均衡に対するロバスト性をより効果的に向上させるか？
• RQ3 事前学習は精度の向上に依存せず、OOD検出とキャリブレーションを含む不確実性推定を高めるか？

主な発見

• 敵対的事前学習は、CIFAR-10/100における敵対的精度で先行手法より約10%の絶対的な向上をもたらす。
• 事前学習はラベル破損下の誤りを大幅に減らし、いくつかの設定でタスク特有の補正を上回る。
• 事前学習はクラス不均衡へのロバスト性を大幅に改善し、特にマイノリティクラスで、いくつかの専門手法を上回る。
• 事前学習はデータセット全体でOOD検出指標（AUROC、AUPR）を改善し、より良い不確実性推定を示す。
• 事前学習はキャリブレーション誤差（RMS、MAD）を著しく改善し、CIFAR-100でより大きな利得を示し、温度調整法との適合性もある。
• いくつかのケースで、事前学習済みモデルは追加のタスク特有の調整なしで最先端のロバストネス/不確実性ベンチマークを上回る。