[論文レビュー] Deep Evidential Regression

Alexander Amini, Wilko Schwarting+2 more|arXiv (Cornell University)|Oct 7, 2019

Adversarial Robustness in Machine Learning参考文献 51被引用数 11

ひとこと要約

本稿では、サンプリングや分布外（OOD）データを必要とせずに回帰タスクにおけるアラトリック不確実性とエピステミック不確実性を推定できる、決定論的ニューラルネットワークを訓練するための Deep Evidential Regression を提案する。予測分布をガウス尤度の証拠分布としてモデル化し、新しい正則化子を用いてそのハイパーパrameterを学習することで、良好にキャリブレーションされた不確実性推定が達成され、OODや悪意ある入力に対してもロバストで、複雑なビジョンタスクへのスケーラビリティを兼ね備える。

ABSTRACT

Deterministic neural networks (NNs) are increasingly being deployed in safety critical domains, where calibrated, robust, and efficient measures of uncertainty are crucial. In this paper, we propose a novel method for training non-Bayesian NNs to estimate a continuous target as well as its associated evidence in order to learn both aleatoric and epistemic uncertainty. We accomplish this by placing evidential priors over the original Gaussian likelihood function and training the NN to infer the hyperparameters of the evidential distribution. We additionally impose priors during training such that the model is regularized when its predicted evidence is not aligned with the correct output. Our method does not rely on sampling during inference or on out-of-distribution (OOD) examples for training, thus enabling efficient and scalable uncertainty learning. We demonstrate learning well-calibrated measures of uncertainty on various benchmarks, scaling to complex computer vision tasks, as well as robustness to adversarial and OOD test samples.

研究の動機と目的

• 安全上の重要な応用分野において、決定論的回帰ニューラルネットワークにおける良好にキャリブレーションされた不確実性推定の欠如に対処すること。
• 推論時にサンプリングを必要とせずに、同時かつアラトリック不確実性とエピステミック不確実性を推定できること。
• 固定された事前分布や OOD データに依存せずに、誤差や OOD 入力における誤った証拠をペナルティ化する正則化子を開発すること。
• 複雑なビジョンベンチマークおよび悪意ある入力において、ロバストでキャリブレーションされた不確実性を達成すること。
• 連続的回帰のためのベイジアンニューラルネットワークや既存の尤度ベース手法のスケーラブルで効率的な代替手段を提供すること。

提案手法

• 本手法は、ガウス尤度のパラメータ (μ, σ²) の上位の証拠分布として予測分布をモデル化する。
• ニューラルネットワークが、尤度パラメータのための証拠の蓄積を表すこの証拠分布のハイパーパrameterを予測するように訓練される。
• 誤差や OOD 入力において、予測された証拠が真のターゲットと整合しない場合にペナルティを課す、新しい尤度正則化子が導入される。
• 正則化子は、固定された事前分布や OOD データを必要とせず、予測された証拠と正しい出力との整合性を促進する、差分に基づくペナルティから導出される。
• サンプリングを回避するため、証拠ハイパーパrameterを直接回帰することで、1回の順伝播による高速な推論が可能になる。
• 精度と不確実性のキャリブレーションのバランスを取るために、回帰誤差と尤度正則化子を組み合わせた損失関数を用いて、エンドツーエンドでモデルを訓練する。

実験結果

リサーチクエスチョン

• RQ1 決定論的ニューラルネットワークは、推論時にサンプリングを必要とせず、良好にキャリブレーションされたエピステミック不確実性とアラトリック不確実性を回帰タスクで学習できるか？
• RQ2 尤度ベースディープラーニングは、OOD データに依存せずに、連続的回帰タスクに効果的に拡張可能か？
• RQ3 固定された事前分布との距離が明確に定義されていない状況で、誤った証拠を誤差や OOD 入力に対してペナルティ化する正則化子をどのように設計できるか？
• RQ4 提案手法は、最先端のベースラインと比較して、OOD および悪意ある入力においてより優れた不確実性キャリブレーションとロバスト性を達成できるか？
• RQ5 本手法は、複雑なコンピュータビジョン回帰タスクにスケーリング可能であり、不確実性キャリブレーションを維持できるか？

主な発見

• 提案手法は、サンプリングや OOD データを必要とせず、複数の回帰ベンチマーク、特に複雑なビジョンタスクにおいて良好にキャリブレーションされた不確実性推定を達成した。
• モデルは、分布外や悪意ある摂動を加えたテスト入力に対してもロバストであり、このような入力では不確実性が正しく上昇した。
• 尤度正則化子は、誤った証拠を誤差において効果的にペナルティ化し、固定された事前分布や OOD 例に依存せずに不確実性キャリブレーションを改善した。
• 本手法は大規模なビジョン回帰タスクへのスケーリングにおいても、効率的に動作し、不確実性キャリブレーションと予測精度を維持した。
• 本手法は、特に OOD および悪意ある入力において、最先端の不確実性推定技術を上回るキャリブレーションとロバスト性を示した。
• 本手法は、高速でシングルパスの不確実性推定を可能にし、リアルタイムの安全上の重要な応用に適している。