[論文レビュー] DOCTOR: A Simple Method for Detecting Misclassification Errors

Federica Granese, Marco Romanelli+3 more|arXiv (Cornell University)|Jun 4, 2021

Adversarial Robustness in Machine Learning参考文献 33被引用数 10

ひとこと要約

Doctor は、ソフトラベル確率を活用することで、深層ニューラルネットワークの予測における誤分類エラーを検出するシンプルな事後処理手法である。完全にブラックボックス設定では、再訓練やアーキテクチャの変更を必要とせず、状態最良の手法よりも最大4%低い偽拒否率（FRR）を達成する。

ABSTRACT

Deep neural networks (DNNs) have shown to perform very well on large scale object recognition problems and lead to widespread use for real-world applications, including situations where DNN are implemented as "black boxes". A promising approach to secure their use is to accept decisions that are likely to be correct while discarding the others. In this work, we propose DOCTOR, a simple method that aims to identify whether the prediction of a DNN classifier should (or should not) be trusted so that, consequently, it would be possible to accept it or to reject it. Two scenarios are investigated: Totally Black Box (TBB) where only the soft-predictions are available and Partially Black Box (PBB) where gradient-propagation to perform input pre-processing is allowed. Empirically, we show that DOCTOR outperforms all state-of-the-art methods on various well-known images and sentiment analysis datasets. In particular, we observe a reduction of up to $4\%$ of the false rejection rate (FRR) in the PBB scenario. DOCTOR can be applied to any pre-trained model, it does not require prior information about the underlying dataset and is as simple as the simplest available methods in the literature.

研究の動機と目的

• 入力が分布内か分布外かにかかわらず、DNN の予測が信頼できるか否かを特定する信頼性の高い手法を開発すること。
• 解釈性が制限される実世界の「ブラックボックス」環境における、DNN の誤った予測に対する過信を是正すること。
• 勾配や重み、追加の学習データへのアクセスを必要とせず、事前学習済みモデルと組み合わせて動作する手法を提案すること。
• 誤拒否と誤受容の両方のリスクを最小限に抑えることで、安全が重要な応用分野における DNN の信頼性を向上させること。
• 完全ブラックボックスおよび部分的ブラックボックスの両状況で、既存手法を上回るシンプルで効果的なソリューションを提供すること。

提案手法

• Doctor は最大確率にとどまらず、ソフトラベル確率の全分布を活用して予測の信頼性を評価する。これにより、正しい予測と誤った予測の区別がより明確に可能になる。
• 本手法は2つの検出シナリオを導入する：完全ブラックボックス（TBB）ではモデル出力のみが利用可能であり、部分的ブラックボックス（PBB）では勾配ベースの前処理により入力の摂動が許可される。
• 本手法は、第一種誤り（偽拒否）と第二種誤り（誤受容）の理論的トレードオフに基づくものであり、ソフトマックス確率に基づく最適な識別器の導出に繋がる。
• PBB設定では、温度スケーリングと小さなε摂動を用いて入力に摂動を加えるが、ODIN と同様のアプローチを採用する。しかし、最大確率ではなく、全確率ベクトルに基づく独自の意思決定ルールを採用する。
• コアとなる検出メカニズムは、全ソフトラベル分布を用いた信頼度スコアの計算であり、最大確率のみに依存する手法に比べ、より洗練された拒否意思決定が可能になる。
• 本手法はモデルに依存せず、再訓練やアーキテクチャの変更なしに、任意の事前学習済み分類器に適用可能である。

実験結果

リサーチクエスチョン

• RQ1 モデルの重みや勾配へのアクセスが不要なシンプルで事後処理可能な手法が、DNN における誤分類エラーを検出できるか？
• RQ2 最大確率に依存する手法と比較して、ソフトラベルの全分布を活用することで、検出性能がどのように向上するか？
• RQ3 状態最良の手法と比較して、Doctor は TBB および PBB の両設定で、偽拒否率（FRR）をどの程度低減できるか？
• RQ4 明示的な最適化が行われていない状況でも、Doctor は OOD 検出タスクに一般化可能か？
• RQ5 OOD サンプルが分布内データに類似している場合（例：CIFAR100 対 CIFAR10）、既存の検出器が困難な状況下で、Doctor はどのように性能を発揮するか？

主な発見

• Doctor は、部分的ブラックボックス（PBB）設定において、状態最良の手法と比較して偽拒否率（FRR）を最大4%低減した。
• TBB 環境では、CIFAR-10 および CIFAR-100 において、さまざまなアーキテクチャ下で常に95%以上の AUROC スコアを達成し、競争力のある性能を示した。
• LSUN（クロップ）データセットでは、純粋な OOD 検出において、ベースラインの ODIN と比較して FRR を 3.3% 改善し、優れた一般化性能を示した。
• OOD サンプルが分布内データに類似している場合（例：CIFAR100 対 CIFAR10）、Doctor（PBB）は AUROC 76.8%、FRR 64.2% を達成し、ODIN（AUROC 70.5%、FRR 79.5%）を上回った。
• ホワイトボックス設定では、マハラノビスベースの手法（MHLNB）は性能が著しく低く（CIFAR10 で AUROC 49.5%）、Doctor のアプローチの実用的利点を浮き彫りにした。
• Doctor は、微調整や追加の学習を一切行わず、推論時におけるソフト予測と最小限の入力摂動に依存するだけで、強力な性能を発揮した。