[論文レビュー] Single Layer Predictive Normalized Maximum Likelihood for Out-of-Distribution Detection

Koby Bibas, Meir Feder+1 more|arXiv (Cornell University)|Oct 18, 2021

Adversarial Robustness in Machine Learning被引用数 8

ひとこと要約

本稿では、1層ニューラルネットワークにおける予測正規化最大尤度（pNML）レジストを用いた分布外（OOD）検出手法を提案する。この手法は解析的に導出され、追加のパラメータやデータを必要とせず、事前学習済みの深層ネットワークへも適用可能である。CIFAR-100、CIFAR-10、SVHN、ImageNet-30の74のベンチマークにおいて、最高性能を達成し、AUROCを最大15.6%向上させる。

ABSTRACT

Detecting out-of-distribution (OOD) samples is vital for developing machine learning based models for critical safety systems. Common approaches for OOD detection assume access to some OOD samples during training which may not be available in a real-life scenario. Instead, we utilize the {\\em predictive normalized maximum likelihood} (pNML) learner, in which no assumptions are made on the tested input. We derive an explicit expression of the pNML and its generalization error, denoted as the {\\em regret}, for a single layer neural network (NN). We show that this learner generalizes well when (i) the test vector resides in a subspace spanned by the eigenvectors associated with the large eigenvalues of the empirical correlation matrix of the training data, or (ii) the test sample is far from the decision boundary. Furthermore, we describe how to efficiently apply the derived pNML regret to any pretrained deep NN, by employing the explicit pNML for the last layer, followed by the softmax function. Applying the derived regret to deep NN requires neither additional tunable parameters nor extra data. We extensively evaluate our approach on 74 OOD detection benchmarks using DenseNet-100, ResNet-34, and WideResNet-40 models trained with CIFAR-100, CIFAR-10, SVHN, and ImageNet-30 showing a significant improvement of up to 15.6\\% over recent leading methods.

研究の動機と目的

• 訓練時においてOODサンプルが利用不可能な安全至上主義のAIシステムにおけるOOD検出の課題に対処すること。
• テストデータやモデルパラメータに関する仮定に依存しない、理論的裏付けのある分布フリーなOOD検出手法の開発。
• 一般化解析を可能にするために、1層ニューラルネットワークにおけるpNMLレジストの解析的表現を導出すること。
• 最後の層のみを用い、追加の訓練を必要とせず、任意の事前学習済み深層ニューラルネットワークにpNMLレジストを適応すること。
• チューニングや追加データなしに、多様なベンチマークで優れたOOD検出性能を示すこと。

提案手法

• 1層ニューラルネットワークにおけるpNMLレジストの解析的表現を導出。pNML学習者と真のラベルを知っているジーニーが予測するロスとの差分として定義される。
• テストサンプルが訓練データの経験的相関行列の大きな固有値に対応する固有ベクトルが張る部分空間に存在する場合、pNMLレジストが最小化されることを示す。
• テストサンプルが意思決定境界から離れている場合にもpNMLレジストが小さくなることを証明し、その入力に対して高い予測信頼性があることを示す。
• 特徴表現を1層分類器の入力とみなすことにより、事前学習済み深層ニューラルネットワークの最後の層にpNMLレジストを適応する。
• ネットワークの変更や追加データを必要とせず、標準的なソフトマックス確率を置き換えるか補完する形で、pNMLレジストをOOD検出の信頼度スコアとして使用する。
• DenseNet-100、ResNet-34、WideResNet-40、ResNet-18/101などのモデルをCIFAR-100、CIFAR-10、SVHN、ImageNet-30に適用。

実験結果

リサーチクエスチョン

• RQ1 1層ニューラルネットワークにおけるpNMLレジストの解析的表現を導出可能か。また、一般化誤差（低レジスト）が小さい条件は何か。
• RQ2 訓練データの高分散方向で定義される低次元部分空間にテスト入力が存在する場合、pNMLレジストはどのように振る舞うか。
• RQ3 再訓練やパラメータ追加なしに、pNMLレジストを深層ニューラルネットワークにおける信頼度スコアとして効果的に使用可能か。
• RQ4 pNMLベースのOOD検出手法は、多様なベンチマークデータセットおよびネットワークアーキテクチャにおいて、既存のSOTA手法を上回る性能を示すか。
• RQ5 高解像度画像設定（例：ImageNet-30）において、pNMLレジストはOOD検出性能にどのような影響を与えるか。

主な発見

• 1層ニューラルネットワークにおけるpNMLレジストが解析的に導出され、個別設定フレームワークにおける一般化誤差の理論的裏付けのある測定値が得られた。
• テストサンプルが訓練データの経験的相関行列の大きな固有値に対応する固有ベクトルが張る部分空間に存在する場合、pNMLレジストは小さくなり、一般化の強靭性を示す。
• テストサンプルが意思決定境界から離れている場合にもpNMLレジストは小さくなり、その入力に対して高い予測信頼性があることを示唆する。
• 事前学習済みDNNの最後の層にpNMLレジストを適用することで、追加パラメータやデータなしに74のベンチマークでOOD検出性能が向上した。
• SOTA手法比で最大15.6%のAUROC向上を達成し、特にiSUNおよびImageNet（R）をOODセットとするCIFAR-100で顕著な向上を示した。
• TPR 95%におけるTNR（特定率）では、CIFAR-100とガウス分布のOOD組み合わせで90.4%の性能向上を達成し、一部のケースでは完全分離を実現した。