[論文レビュー] Enhancing The Reliability of Out-of-distribution Image Detection in Neural Networks

Shiyu Liang, Yixuan Li+1 more|arXiv (Cornell University)|Jun 8, 2017

Adversarial Robustness in Machine Learning参考文献 46被引用数 648

ひとこと要約

ODINは、事前学習済みネットワークのOOD検出を、再学習なしに温度スケーリングと入力摂動を用いて改善し、複数のアーキテクチャとデータセットにおいて最先端の結果を達成する。

ABSTRACT

We consider the problem of detecting out-of-distribution images in neural networks. We propose ODIN, a simple and effective method that does not require any change to a pre-trained neural network. Our method is based on the observation that using temperature scaling and adding small perturbations to the input can separate the softmax score distributions between in- and out-of-distribution images, allowing for more effective detection. We show in a series of experiments that ODIN is compatible with diverse network architectures and datasets. It consistently outperforms the baseline approach by a large margin, establishing a new state-of-the-art performance on this task. For example, ODIN reduces the false positive rate from the baseline 34.7% to 4.3% on the DenseNet (applied to CIFAR-10) when the true positive rate is 95%.

研究の動機と目的

• ニューラルネットワークのデプロイメントにおける信頼性の高いOOD検出の必要性を動機づける。
• 再学習を要さない検出器（ODIN）を提案し、in-distributionとout-of-distributionのsoftmaxスコアを分離する。
• 多様なアーキテクチャとデータセットにわたってODINを評価し、ロバスト性とベースラインに対する改善を確立する。
• 温度、摂動、およびデータセット間の距離が検出性能にどのように影響するかを分析する。

提案手法

• パラメータ T を用いて softmax 出力に温度スケーリングを適用する。
• 入力勾配の方向に小さな入力摂動を追加して分離性を高める。
• 摂動後の入力に対してキャリブレートされた softmax スコアを計算し、閾値でOODサンプルを検出する。
• 別のOOD検証セットを用いて T、摂動の大きさ epsilon、閾値 delta を調整する。
• FPR at 95% TPR、Detection Error、AUROC、および AUPR を含む指標で性能を評価する。

実験結果

リサーチクエスチョン

• RQ1 再学習なしのポストホック検出器は、一般的なアーキテクチャにおけるOOD検出を改善できるか？
• RQ2 温度スケーリングと入力摂動は、分布内外のサンプル間の分離をどのように強化するか？
• RQ3 ハイパーパラメータ（T, epsilon）がデータセット間の検出性能に与える影響は？
• RQ4 調整されたパラメータは異なるOODデータセット間でどれくらい転用可能か？

主な発見

データセットペア（In vs OOD）	95% TPRにおけるFPR（ODIN）	検出エラー（ODIN）	AUROC（ODIN）	AUPR-In（ODIN）	AUPR-Out（ODIN）
CIFAR-10 対 TinyImageNet (crop)	4.3	4.7	99.1	99.1	99.1
CIFAR-10 対 TinyImageNet (resize)	7.5	6.1	98.5	98.6	98.5
CIFAR-10 対 LSUN (crop)	11.4	7.2	97.9	98.0	97.9

• ODINはベースラインよりもOOD検出を大幅に改善し、例としてDenseNet-CIFAR-10対TinyImageNet (crop)で95% TPR時のFPRを34.7%から4.3%へ削減。
• ODINはDenseNet-BC-100およびWide ResNetアーキテクチャで、TinyImageNet、LSUN、Gaussian/Uniformノイズなどの複数のOODデータセットで強力な性能を維持。
• 大きな温度T（例：1000）と慎重に選択された摂動epsilonを組み合わせると、分布内外の例の分離性が著しく向上。
• 一つの検証OODセットで調整されたハイパーパラメータは、同様の性能を持つ他のOODテストセットにも良く転移することを示し、パラメータの転用性を示唆。
• OODデータセット間の距離（MMD）が増すほど、ODINの性能は向上する傾向があり、近い分布では検出が難しくなる。