[論文レビュー] ATOM: Robustifying Out-of-distribution Detection Using Outlier Mining

Jiefeng Chen, Yixuan Li+3 more|arXiv (Cornell University)|Jun 26, 2020

Adversarial Robustness in Machine Learning参考文献 59被引用数 10

ひとこと要約

ATOMは、敵対的訓練と情報的な外れ値マイニングを組み合わせることで、分布外（OOD）検出のロバスト性を向上させる画期的な訓練フレームワークを提案する。低OODスコアの補助的OODデータを効果的に活用することで、意思決定境界の一般化性能が著しく向上し、CIFAR-10における敵対的OOD攻撃下でFPRを最大57.99%まで低減し、多様なOOD評価タスクで最先端の性能を達成する。

ABSTRACT

Detecting out-of-distribution (OOD) inputs is critical for safely deploying deep learning models in an open-world setting. However, existing OOD detection solutions can be brittle in the open world, facing various types of adversarial OOD inputs. While methods leveraging auxiliary OOD data have emerged, our analysis on illuminative examples reveals a key insight that the majority of auxiliary OOD examples may not meaningfully improve or even hurt the decision boundary of the OOD detector, which is also observed in empirical results on real data. In this paper, we provide a theoretically motivated method, Adversarial Training with informative Outlier Mining (ATOM), which improves the robustness of OOD detection. We show that, by mining informative auxiliary OOD data, one can significantly improve OOD detection performance, and somewhat surprisingly, generalize to unseen adversarial attacks. ATOM achieves state-of-the-art performance under a broad family of classic and adversarial OOD evaluation tasks. For example, on the CIFAR-10 in-distribution dataset, ATOM reduces the FPR (at TPR 95%) by up to 57.99% under adversarial OOD inputs, surpassing the previous best baseline by a large margin.

研究の動機と目的

• 敵対的OOD入力下で脆弱である既存のOOD検出手法が、摂動を加えたOOD例をインディストリビューションと誤分類する問題を解決すること。
• 補助的OODデータをより効果的に活用することで、OOD検出器のロバスト性を向上させることの可能性と方法を調査すること。
• ランダムまたはヒューリスティックなサンプリングではなく、情報的な外れ値をマイニングすることで、未観測の敵対的攻撃タイプに対しても一般化可能な手法を開発すること。
• 外れ値マイニングがよりタイトでロバストなOOD意思決定境界を形成する背後にある理論的根拠を提示すること。

提案手法

• ATOMは二段階の訓練プロセスを導入する。まず、大規模な補助的OODデータプールから低OODスコアの情報をもつ外れ値サンプルを特定・選択する。
• 選択された情報的な外れ値に対して敵対的訓練を適用することで、摂動に対する検出器の耐性を高め、敵対的OOD入力下での一般化性能を向上させる。
• 信頼度基準を用いて意思決定境界に近い外れ値を優先的に選択することで、境界の微調整に意味のある寄与を保証する。
• 分類器ではなく、OOD検出器を標的とした、特に設計された敵対的サンプルを統合し、検出器の意思決定境界を強化する。
• 外れ値マイニングと敵対的訓練を統合することで、情報のないまたはノイズの多い外れ値サンプルによる性能劣化を回避し、OOD検出器を共同で正則化する。
• 理論的分析により、情報的な外れ値のマイニングがより良い意思決定境界の形状づけに寄与することを示し、OOD検出におけるハードネガティブマイニングの直感的妥当性を形式化する。

実験結果

リサーチクエスチョン

• RQ1 補助的OODデータから情報的な外れ値をマイニングすることで、敵対的摂動下におけるOOD検出のロバスト性を顕著に向上させることができるか？
• RQ2 マイニングされた外れ値に対して敵対的訓練を適用することで、学習分布外の未観測な敵対的攻撃タイプに対しても一般化可能か？
• RQ3 補助的OODデータのランダムまたはヒューリスティックなサンプリングが、しばしばOOD検出性能の向上に寄与せず、場合によっては劣化させるのはなぜか？
• RQ4 外れ値マイニングは、インディストリビューションとアウトオブディストリビューションデータの間で、よりタイトでロバストな意思決定境界を形成するためにどのように寄与するか？
• RQ5 外れ値マイニングの有効性に対して、どのような理論的保証を提供できるか？

主な発見

• CIFAR-10では、敵対的$L_∞$ OOD攻撃下で、95%の真正陽性率における偽陽性率（FPR）を最大57.99%まで低減し、以前の最良ベースラインを著しく上回る。
• $L_∞$ OODタスクにおいて、CIFAR-10で最も優れた先行手法ACETと比較して、FPRを53.9%まで低減した。
• DenseNetを用いたCIFAR-100データセットでは、自然、汚損、$L_∞$摂動、合成的OOD入力の4つのすべてのOOD評価タイプで、最先端の性能を達成した。
• CIFAR-10の自然OODタスクにおいて、ATOMは95% TPRにおけるFPRを6.30%にまで低減し、同等の設定下でOE（11.08%）とACET（18.63%）を上回った。
• アブレーションスタディにより、敵対的訓練と外れ値マイニングの両方が不可欠であることが確認された。両方のコンポーネントを削除すると、性能が著しく低下した。
• 理論的分析により、情報的な外れ値のマイニングがより良い意思決定境界の正則化に寄与することを示し、本手法の成功の背後にある理論的根拠を明確にした。