[論文レビュー] A Less Biased Evaluation of Out-of-distribution Sample Detectors

Alireza Shafaei, Mark Schmidt+1 more|arXiv (Cornell University)|Sep 13, 2018

Anomaly Detection Techniques and Applications参考文献 40被引用数 21

ひとこと要約

本稿では、分布外（OOD）サンプル検出におけるバイアスを低減するための三データセット評価フレームワークOD-testを導入する。実際の状況下で、既存手法が高次元画像においてはわずか60–78%の正確性にとどまることを明らかにした。これは信頼できる性能とは言えず、従来の楽観的なベンチマークに疑問を呈する。

ABSTRACT

In the real world, a learning system could receive an input that is unlike anything it has seen during training. Unfortunately, out-of-distribution samples can lead to unpredictable behaviour. We need to know whether any given input belongs to the population distribution of the training/evaluation data to prevent unpredictable behaviour in deployed systems. A recent surge of interest in this problem has led to the development of sophisticated techniques in the deep learning literature. However, due to the absence of a standard problem definition or an exhaustive evaluation, it is not evident if we can rely on these methods. What makes this problem different from a typical supervised learning setting is that the distribution of outliers used in training may not be the same as the distribution of outliers encountered in the application. Classical approaches that learn inliers vs. outliers with only two datasets can yield optimistic results. We introduce OD-test, a three-dataset evaluation scheme as a more reliable strategy to assess progress on this problem. We present an exhaustive evaluation of a broad set of methods from related areas on image classification tasks. Contrary to the existing results, we show that for realistic applications of high-dimensional images the previous techniques have low accuracy and are not reliable in practice.

研究の動機と目的

• 既存のベンチマークがインライナーとアウトライヤーの二つのデータセットのみを用いることによるOOD検出器の過剰に楽観的な評価を是正すること。
• 第三者の多様なアウトライヤー・データセットを導入することで、訓練時に見なかったアウトライヤー（未知の未知）を考慮した、より現実的な評価フレームワークを提案すること。
• 多様な画像分類データセットおよびモデルをカバーする包括的かつバイアスのないOOD検出ベンチマークを提供すること。
• 現在の最先端手法が現実の高次元設定においては著しく性能を発揮しないこと、したがって実用的信頼性に欠けることを示すこと。
• 再現可能性を高め、コミュニティにおけるOD-test評価プロトコルの採用を促進するため、PyTorchパッケージをリリースすること。

提案手法

• OD-testを導入：トレーニングセット（ID）、バリデーションセット（既知のアウトライヤー）、テストセット（未知のアウトライヤー）を用いた三データセット評価方式を採用し、実世界のOOD検出を模擬する。
• CIFAR-10、SVHN、Tiny ImageNet、LSUN、ImageNet-1000など、多様なアウトライヤー・データセットを用いて、異常タイプにわたる一般化性能を評価する。
• 不確実性推定（MC-Dropout、Deep Ensemble）、再構成ベース（AEThreshold、VAE）、密度推定（PixelCNN++）、およびアドバーシャルスタイル（ODIN）を含む12種類のOOD検出手法を評価する。
• 任意の1つのアウトライヤー分布に起因するバイアスを低減するため、すべてのアウトライヤー・データセットの組み合わせにおける平均正確度を計算する。
• 標準的な画像分類モデル（VGG、ResNet）をベース分類器として用い、OOD検出器をそのログティトや特徴表現に適用する。
• 最終層の特徴量またはソフトマックス確率にしきい値処理および距離ベース手法を適用し、OODサンプルを検出する。

実験結果

リサーチクエスチョン

• RQ1 標準的な二データセットベンチマークと比較して、より現実的な三データセット設定（OD-test）下でOOD検出器の性能はどの程度低下するか？
• RQ2 OOD検出手法は、訓練時に接触しなかった未確認のアウトライヤー分布へどの程度一般化できるか？
• RQ3 不確実性推定、再構成、密度推定などの異なるOOD検出技術は、高次元画像設定においてどのように比較されるか？
• RQ4 高精度な画像分類器を用いることで、OOD検出性能が向上するのか？
• RQ5 バリデーションセット内の特定のアウトライヤー分布に過剰適合しにくいOOD検出手法はどれか？

主な発見

• 評価対象のすべてのOOD検出手法が、高次元画像設定において顕著に性能を低下させ、平均正確度は60%から78%にとどまることを明らかにした。これは実用的信頼性に欠けることを示唆している。
• AEThreshold や PixelCNN++ は MNIST などの低次元データセットでは良好に機能するが、ImageNet などの複雑な高次元データでは急速に性能が低下する。
• ODIN は高次元設定においてすべての手法の中で最高の平均正確度を示したが、依然として80%に満たないため、実用的有用性に限界がある。
• 二データセット評価方式は、特に VGG や ResNet において楽観的な結果をもたらし、特定のアウトライヤー分布への過剰適合を検出できない。
• 不確実性ベース手法（MC-Dropout や Deep Ensemble）はOOD検出に信頼性がなく、データセット間で正確度が低くかつ一貫性に欠ける。
• 標準的なオートエンコーダの潜在表現を最近傍探索法と組み合わせても、OOD検出には効果がなく、PixelCNN++ による密度推定は場合によってはランダムベースラインでさえ下回る。