[論文レビュー] One Versus all for deep Neural Network Incertitude (OVNNI) quantification

Gianni Franchi, Andrei Bursuc+3 more|arXiv (Cornell University)|Jun 1, 2020

Adversarial Robustness in Machine Learning参考文献 41被引用数 9

ひとこと要約

本論文では、One-vs-All (OVA) と All-vs-All (AVA) 分類を組み合わせることで、ベイジアン手法に依存しない深層ニューラルネットワークにおける不確実性評価の新規手法 OVNNI を提案する。OVA の予測をキャリブレーションされた AVA DNN と融合させることで、ハイパーパramータの最小限のチューニングで、分布外（OOD）検出とモデルキャリブレーションの両面で最先端の性能を達成する。

ABSTRACT

Deep neural networks (DNNs) are powerful learning models yet their results are not always reliable. This is due to the fact that modern DNNs are usually uncalibrated and we cannot characterize their epistemic uncertainty. In this work, we propose a new technique to quantify the epistemic uncertainty of data easily. This method consists in mixing the predictions of an ensemble of DNNs trained to classify One class vs All the other classes (OVA) with predictions from a standard DNN trained to perform All vs All (AVA) classification. On the one hand, the adjustment provided by the AVA DNN to the score of the base classifiers allows for a more fine-grained inter-class separation. On the other hand, the two types of classifiers enforce mutually their detection of out-of-distribution (OOD) samples, circumventing entirely the requirement of using such samples during training. Our method achieves state of the art performance in quantifying OOD data across multiple datasets and architectures while requiring little hyper-parameter tuning.

研究の動機と目的

• 深層ニューラルネットワークにおける信頼性の高い不確実性推定、特に知識的不確実性と分布外（OOD）検出の欠如に対処すること。
• 特に安全が求められる応用分野において、標準的な DNN が予測に対して過信しすぎることを是正すること。
• ベイジアン推論やトレーニング時における OOD データを必要とせずに、不確実性評価を向上させる手法を開発すること。
• OVA ベースのアンサンブルに AVA キャリブレーションを組み合わせることで、キャリブレーションと OOD 検出の両面で既存の最先端手法を上回ることを示すこと。

提案手法

• 各分類器が一つのクラスを他のすべてのクラスと区別する One-vs-All (OVA) クラス分類器のアンサンブルを学習する。
• 同じ分類タスクに対して、キャリブレーションされた信頼度スコアを提供する別個の All-vs-All (AVA) DNN を学習する。
• OVA クラス分類器のスコアを、AVA DNN の出力を局所的な信頼性プロキシとして用いて調整し、不確実性推定を精緻化する。
• 調整済みの OVA スコアを Winner-Takes-All ルールで集約し、最終的な予測と不確実性スコアを出力する。
• 組み合わせスコアを、分布外サンプルの検出に用いる信頼度インデックスとする。低スコアは高い不確実性を示す。
• AVA DNN のキャリブレーションを活用して、OVA 予測の過信を是正し、全体の信頼性を向上させる。

実験結果

リサーチクエスチョン

• RQ1 ベイジアン推論やトレーニング時の OOD データを必要とせずに、OVA と AVA DNN を組み合わせることで、深層ニューラルネットワークにおける不確実性評価を向上させられるか？
• RQ2 OVNNI の手法は、Deep Ensembles などの最先端手法と比較して、キャリブレーションと OOD 検出の両面でどのように優れているか？
• RQ3 AVA DNN の出力を信頼性プロキシとして用いることで、OVA ベースのアンサンブルにおける分布外サンプル検出性能がどの程度向上するか？
• RQ4 OVNNI フレームワークは、多様なデータセットとアーキテクチャにおいて、高い精度を維持しながらも、モデルキャリブレーションを顕著に改善できるか？
• RQ5 OVNNI の概念的シンプルさは、信頼性の高い不確実性推定を必要とする実世界の応用分野への広範な採用を可能にするか？

主な発見

• OVNNI は、CIFAR10、SVHN、Camvid、StreetHazards、BDD Anomaly など複数のデータセットで、OOD 検出において最先端の性能を達成した。
• Camvid では、Corbière らが提唱した指標において最大 77%、キャリブレーションにおいても最大 77% の改善を達成した。
• StreetHazards では、OOD 検出指標において、過去最高の結果を最大 42.8% まで向上させた。
• BDD Anomaly では、キャリブレーションが最低 48% 向上し、他の指標も最低 22% 向上し、優れた一般化性能を示した。
• OVNNI は、精度-信頼度曲線とキャリブレーション曲線の両方において、信頼度と実際の精度が優れた一致を示し、最高のキャリブレーション性能を達成した。
• 期待キャリブレーション誤差（ECE）は、最先端手法を 2% 上回り、よりキャリブレーションされた信頼度推定が得られた。