[論文レビュー] Learning Confidence for Out-of-Distribution Detection in Neural Networks

Terrance DeVries, Graham W. Taylor|arXiv (Cornell University)|Feb 13, 2018

Adversarial Robustness in Machine Learning参考文献 5被引用数 356

ひとこと要約

この論文はニューラルネットワークにおける信頼度推定ブランチを導入し、OOD入力を検出する。softmaxベースの方法やODINより改善し、OODラベルを必要としない。信頼度のミスマッチは、タスク性能と校正された信頼度をバランスさせる損失によって緩和される。

ABSTRACT

Modern neural networks are very powerful predictive models, but they are often incapable of recognizing when their predictions may be wrong. Closely related to this is the task of out-of-distribution detection, where a network must determine whether or not an input is outside of the set on which it is expected to safely perform. To jointly address these issues, we propose a method of learning confidence estimates for neural networks that is simple to implement and produces intuitively interpretable outputs. We demonstrate that on the task of out-of-distribution detection, our technique surpasses recently proposed techniques which construct confidence based on the network's output distribution, without requiring any additional labels or access to out-of-distribution examples. Additionally, we address the problem of calibrating out-of-distribution detectors, where we demonstrate that misclassified in-distribution examples can be used as a proxy for out-of-distribution examples.

研究の動機と目的

• 予測が誤っている可能性がある時および入力がOODである時を識別するための校正された信頼度推定を動機づける。
• 標準分類器を拡張する学習可能な信頼度ブランチを提案する。
• 信頼度ベースの閾値設定がアーキテクチャとデータセットを超えてOOD検出を改善することを示す。
• OODデータなしで、分布内の誤分類例がOOD検出器を校正できることを示す。

提案手法

• 予測ブランチと並 parallelして信頼度推定ブランチを追加し、スカラーcを[0,1]で出力する。
• 予測確率を p' = c * p + (1 - c) * y に修正する。ここで y はターゲット分布。
• タスク損失 L_t（例：負の対数尤度）と信頼度損失 L_c = -log(c) を重みλで組み合わせて学習する。L = L_t + λ * L_c。
• 更新ごとにλを調整してL_cをβ付近に保つバジェットパラメータβを導入する。
• データ拡張と誤分類例の保持（例：Cutout）を用いて過学習を防ぎ、信頼度学習のための有用な誤分類を維持する。
• 入力前処理を適用して、L_cの勾配から導出された摂動入力を用いて、OODとIDの分離を高め、入力をより高い信頼度へ押し込む。

実験結果

リサーチクエスチョン

• RQ1 OODラベルなしで、入力ごとに学習される信頼度推定が、分布内と分布外のデータを意味のあるように分離できるか？
• RQ2 信頼度ベースの閾値設定は、多様なアーキテクチャとOODデータセットでsoftmaxベースの閾値設定とODINを上回るか？
• RQ3 OODサンプルが利用できない場合、分布内の誤分類をOOD検出器を校正する代替指標として利用できるか？
• RQ4 訓練のハイパーパラメータ（λ、β）は、分類精度を保ちつつ有用な信頼度を維持するようにどのように設定すべきか？

主な発見

• 信頼度推定は、ほとんどのアーキテクチャとデータセットで、softmaxベースの方法より分布内外の例をより良く分離できる。
• 入力前処理（および温度スケーリングを含む）を用いた学習済み信頼度の閾値設定は、多くの実験でODINを上回る。
• 信頼度ブランチを用いたモデル訓練は、基準モデルと同程度の分布内精度を維持する。
• 分布内で誤分類された例は、真のOODデータが利用できない場合のOOD検出器校正の実用的な指標として機能する。