[論文レビュー] Provably Robust Detection of Out-of-distribution Data (almost) for free

Alexander Meinke, Julian Bitterwolf+1 more|arXiv (Cornell University)|Jun 8, 2021

Adversarial Robustness in Machine Learning参考文献 50被引用数 4

ひとこと要約

この論文では、信頼性を損なわせることなく高いクリーン精度と強力なOOD検出性能を達成する、証明可能に敵対的に頑健なOOD検出のためのProoDという手法を提案する。分類器のアーキテクチャを変更して学習可能なバイアスシフトを導入し、訓練時に区間境界伝播（IBP）を適用することで、$l_∞$-摂動下でのOODサンプルに対する信頼度の数学的保証付き上界を提供し、分布外検出の頑健性を確保するとともに、分布内精度を低下させない。

ABSTRACT

The application of machine learning in safety-critical systems requires a reliable assessment of uncertainty. However, deep neural networks are known to produce highly overconfident predictions on out-of-distribution (OOD) data. Even if trained to be non-confident on OOD data, one can still adversarially manipulate OOD data so that the classifier again assigns high confidence to the manipulated samples. We show that two previously published defenses can be broken by better adapted attacks, highlighting the importance of robustness guarantees around OOD data. Since the existing method for this task is hard to train and significantly limits accuracy, we construct a classifier that can simultaneously achieve provably adversarially robust OOD detection and high clean accuracy. Moreover, by slightly modifying the classifier's architecture our method provably avoids the asymptotic overconfidence problem of standard neural networks. We provide code for all our experiments.

研究の動機と目的

• 分布外（OOD）検出手法が、分布外入力の分類器の信頼度を不正に高める可能性がある敵対的摂動に対して脆弱であるという問題に対処すること。
• 標準的なニューラルネットワークが訓練データ分布から離れた領域で漸近的過信度を示す問題を、アーキテクチャ的および訓練的変更によって証明可能に解消すること。
• $l_\infty$-有界な敵対的攻撃下でのOOD信頼度に対して証明可能な保証を提供する手法を開発し、クリーン精度を損なうことなく頑健性を確保すること。
• 高い分布内精度とOOD検出の認証可能頑健性を統合し、安全が求められるシステムにおける実用的導入を可能にすること。

提案手法

• 標準的なニューラルネットワークが分布外データに対して漸近的過信度を示すのを防ぐために、学習可能なバイアスシフト $\Delta$ を導入することで分類器のアーキテクチャを変更する。
• 訓練時に区間境界伝播（IBP）を適用し、$l_\infty$-近傍内でのOODサンプルの信頼度に対する認証可能な上界を計算する。
• 訓練目的として、分布外データの信頼度に対する認証可能な上界を最小化することで、敵対的摂動下でも頑健性を確保する。
• 標準的なOOD検出ベースラインと互換性があり、再訓練なしに事前に訓練済みの頑健モデルとも組み合わせられる。
• バイナリ識別器ヘッドを用いて、信頼度のしきい値に基づき入力を分布内または分布外に分類する。
• 各OODサンプルに対して点ごとの証明を提供し、数学的に $l_\infty$-摂動が信頼度を認証された上界を超えることはないことを保証する。

実験結果

リサーチクエスチョン

• RQ1 高精度なクリーン精度を維持しつつ、$l_\infty$-敵対的攻撃に対してOOD検出を証明可能に頑健にすることができるか？
• RQ2 アーキテクチャ的および訓練的変更によって、標準的なニューラルネットワークがOODデータに対して示す漸近的過信度を証明可能に解消できるか？
• RQ3 再訓練なしに分布内データの性能を低下させることなく、OOD検出の認証可能頑健性を達成できるか？
• RQ4 提案手法は、既存のOOD検出および敵対的頑健性手法と比較して、実験的および理論的にどのように優れているか？
• RQ5 事前に訓練済みの分布内頑健モデルと組み合わせることで、性能の低下を伴わずにOOD頑健性を向上させることができるか？

主な発見

• ProoDは、OEなどの最先端手法と同等の高いクリーン精度（CIFAR-10で95.6％）を達成しながら、認証可能頑健性を提供する。
• CIFAR-100の分布外ベンチマークにおいて、$\Delta=3$ で $\epsilon=0.01$ の $l_\infty$-摂動下で48.6％の認証済みGAUCを達成し、非頑健なベースラインを著しく上回る。
• 標準モデルとは異なり、訓練データ分布から遠く離れたOODデータに対しても非ゼロのGAUCと認証可能な信頼度上界を提供する。
• RobustBenchから得た頑健なResNet-18と組み合わせた場合、すべてのデータセットでOOD検出性能が向上または維持され、クリーン精度や頑健精度に低下は見られない。
• 5回の実行における誤差棒は最小限に抑えられており、手法の安定性と性能の一貫性を裏付けている。
• 離散的バイアスシフトを用いたProoD-Discは、CIFAR-100で67.7％のAUCと61.6％のGAUCを達成し、強力な実験的頑健性を示している。