[論文レビュー] Improving Out-of-Distribution Detection via Epistemic Uncertainty Adversarial Training

D. Everett, André T. Nguyen+2 more|arXiv (Cornell University)|Sep 5, 2022

Adversarial Robustness in Machine Learning被引用数 7

ひとこと要約

本稿では、ドロップアウトアンサンブルのエピステミック不確実性推定を敵対的に攻撃することで、分布外（OOD）検出を向上させるUncertainty Adversarial Training（UAT）を提案する。不確実性を標的とする攻撃に対してモデルが頑健であるように訓練することで、クリーンなOODデータにおいて${\rm AUC}_{\scriptscriptstyle{\rm FPR}<1\%}$が≥0.75に向上し、敵対的摂動下でも高い頑健性を維持する。これは、低誤検出率におけるベースライン手法を著しく上回る。

ABSTRACT

The quantification of uncertainty is important for the adoption of machine learning, especially to reject out-of-distribution (OOD) data back to human experts for review. Yet progress has been slow, as a balance must be struck between computational efficiency and the quality of uncertainty estimates. For this reason many use deep ensembles of neural networks or Monte Carlo dropout for reasonable uncertainty estimates at relatively minimal compute and memory. Surprisingly, when we focus on the real-world applicable constraint of $\leq 1\%$ false positive rate (FPR), prior methods fail to reliably detect OOD samples as such. Notably, even Gaussian random noise fails to trigger these popular OOD techniques. We help to alleviate this problem by devising a simple adversarial training scheme that incorporates an attack of the epistemic uncertainty predicted by the dropout ensemble. We demonstrate this method improves OOD detection performance on standard data (i.e., not adversarially crafted), and improves the standardized partial AUC from near-random guessing performance to $\geq 0.75$.

研究の動機と目的

• 低誤検出率（≤1%）における既存の不確実性ベースのOOD検出手法の失敗、特にガウスノイズのような単純なOODサンプルの検出における課題を調査すること。
• ドロップアウトアンサンブルにおけるエピステミック不確実性推定が、OOD入力での不確実性を低下させる標的攻撃に対してどれほど脆弱であるかを特定すること。
• クリーンなOOD検出性能と不確実性標的攻撃に対する頑健性を両立させる、新たな敵対的訓練方式を開発すること。
• 通常の精度-頑健性トレードオフに反して、クリーンな精度を損なわずに低FPRにおけるOOD検出性能を向上させられることを示すこと。

提案手法

• ドロップアウトアンサンブルが予測するエピステミック不確実性（相互情報量として測定）を標的とする敵対的攻撃を導入する。
• この攻撃は、不確実性を最小化する摂動を生成する。これをUncertainty FGSM（UFGSM）と呼ぶ。OODサンプルにおけるエピステミック不確実性を低下させることで、OOD入力が誤って確信を持って認識される状況を模擬する。
• モデルは、これらの不確実性標的摂動を使用して敵対的訓練され、推論時における頑健性が向上する。
• 訓練プロセスでは、モンテカルロドロップアウトとアンサンブル平均を組み合わせてエピステミック不確実性を推定し、予測間の相互情報量を不確実性スコアとして使用する。
• このアプローチは標準的な訓練中に適用され、損失関数がOODデータに対する摂動下でも不確実性が低くなるように正則化される。
• 本手法は、複数のデータセット（MNIST、FMNIST、CIFAR-10、SVHN、ImageNet）および複数のOODデータタイプ（実際のデータ、偽物、ノイズ、敵対的摂動を加えたデータ）で評価される。

実験結果

リサーチクエスチョン

• RQ1 既存の不確実性ベースのOOD検出手法は、実世界の導入に不可欠な1%未満の誤検出率（FPR）において、OODサンプルを信頼性を持って検出できるのか？
• RQ2 ドロップアウトアンサンブルのエピステミック不確実性推定は、OOD入力での不確実性を低下させる標的攻撃に対してどれほど脆弱なのか？
• RQ3 不確実性標的攻撃を使用した敵対的訓練により、クリーンなOOD検出性能とその攻撃に対する頑健性を両方向上させられるか？
• RQ4 提案手法は、通常のOOD検出における精度と頑健性のトレードオフを打ち破ることができるか？

主な発見

• 深層アンサンブルやモンテカルロドロップアウトを含むベースライン手法は、≤1% FPRにおいてOODサンプルを検出できない。${\rm AUC}_{\scriptscriptstyle{\rm FPR}<1\%}$スコアはランダム推測に近い（≈0.5）であり、ガウスノイズに対しても同様である。
• UFGSM攻撃はOODサンプルにおけるエピステミック不確実性を効果的に低下させ、それらを分布内と誤認知させ、偽陰性を増加させる。
• UATで訓練されたモデルは、全評価データセットでクリーンなOODデータにおいて${\rm AUC}_{\scriptscriptstyle{\rm FPR}<1\%}$ ≥0.75を達成し、ベースラインを著しく上回る。
• UAT手法はUFGSM攻撃に対しても高い頑健性を維持し、攻撃を受けたOODサンプルにおいて${\rm AUC}_{\scriptscriptstyle{\rm FPR}<1\%}$が0.91～1.00に達する一方、ベースラインはランダム性能にまで低下する。
• UAT手法はクリーンな精度を損なわせることなくOOD検出を向上させ、不確実性を考慮したモデルにおいて、頑健性と精度が共存可能であることを示している。
• 本手法は、自然画像データセット、合成偽物データ、敵対的摂動を加えたサンプルを含む多様なOODデータタイプにおいて一貫した改善を示している。