[論文レビュー] Evaluating Robustness of Predictive Uncertainty Estimation: Are Dirichlet-based Models Reliable?

Anna-Kathrin Kopetzki, Bertrand Charpentier+3 more|arXiv (Cornell University)|Oct 28, 2020

Statistical Methods and Inference被引用数 10

ひとこと要約

この論文は、深層学習における高速で高品質な不確実性推定のために最近提案されたディリクレに基づく不確実性（DBU）モデルの adversarial 攻撃に対する頑健性を評価する。その promise 尽きないにもかかわらず、研究では DBU モデルが誤分類されたサンプルを信頼性高く示せない、adversarial な例を検出できない、および分布内と分布外のデータを区別できないことが明らかになった。新しい中央値平滑化手法は著しく頑健性を向上させ、 adversarial 訓練を上回った。

ABSTRACT

Dirichlet-based uncertainty (DBU) models are a recent and promising class of uncertainty-aware models. DBU models predict the parameters of a Dirichlet distribution to provide fast, high-quality uncertainty estimates alongside with class predictions. In this work, we present the first large-scale, in-depth study of the robustness of DBU models under adversarial attacks. Our results suggest that uncertainty estimates of DBU models are not robust w.r.t. three important tasks: (1) indicating correctly and wrongly classified samples; (2) detecting adversarial examples; and (3) distinguishing between in-distribution (ID) and out-of-distribution (OOD) data. Additionally, we explore the first approaches to make DBU models more robust. While adversarial training has a minor effect, our median smoothing based approach significantly increases robustness of DBU models.

研究の動機と目的

• adversarial 攻撃下でのディリクレに基づく不確実性（DBU）モデルの頑健性を、主な不確実性推定タスクにおいて評価すること。
• DBU モデルが誤分類されたサンプルを信頼性高く同定できるか、adversarial な例を検出できるか、および分布内と分布外のデータを区別できるかを調査すること。
• DBU モデルに対する adversarial パerturbation に対する頑健性を向上させる手法を検討すること。
• adversarial 訓練と中央値平滑化の両者が、DBU モデルの頑健性を向上させる効果を比較すること。

提案手法

• 著者らは、複数の adversarial 攻撃設定下で、標準ベンチマーク上での DBU モデルの広範な実験的評価を実施した。
• 3つの主要な評価タスクを用いた：誤分類されたサンプルの特定、adversarial な例の検出、分布内と分布外の入力を区別すること。
• 提案された中央値平滑化法は、ディリクレ分布のパラメータ予測の前に、モデルのログティトを空間フィルタリングすることで、頑健性を向上させる。
• 比較のためのベースラインとして adversarial 訓練を適用した。
• 複数のデータセットと攻撃タイプにおいて、正確性、不確実性のキャリブレーション、検出率を測定した。
• ID-攻撃成功確率や不確実性に基づく検出性能といった指標を用いて、モデルを評価した。

実験結果

リサーチクエスチョン

• RQ1 adversarial パーティクルの下で、ディリクレに基づく不確実性モデルは、サンプルが正しく分類されたか誤って分類されたかを信頼性高く示せるか？
• RQ2 標準モデルと比較して、DBU モデルはどれほど効果的に adversarial な例を検出できるか？
• RQ3 攻撃下において、DBU モデルは分布内と分布外のサンプルをどれほどうまく区別できるか？
• RQ4 adversarial 訓練は、DBU モデルの不確実性推定タスクにおける頑健性を向上させるか？
• RQ5 中央値平滑化は、adversarial 訓練よりも、DBU モデルの頑健性を向上させるためにより効果的か？

主な発見

• DBU モデルは誤分類されたサンプルを信頼性高く示せない。adversarial 攻撃下で検出率が著しく低下する。
• ID-攻撃設定下では、標準的な DBU モデルは adversarial な例の検出率がわずか 30.7% にとどまり、頑健性が低いことが示された。
• 中央値平滑化は adversarial 検出性能を向上させ、攻撃の種類にかかわらず平均で 70.5% の検出率に向上させた。
• PriorNet は、平滑化されたバージョンとして、クリーンデータ上での正確性 99.8%、不確実性キャリブレーション 99.8% を達成し、平滑化されていないモデルを上回った。
• adversarial 訓練は頑健性向上にほとんど寄与せず、DBU モデルに対しては有効性が限られていた。
• 本研究では、DBU モデルからの不確実性推定が adversarial パーティクルに対して極めて感受性を示すことが明らかになった。これは、安全を要するアプリケーションにおける信頼性を損なうものである。