[論文レビュー] Out-Of-Distribution Detection With Subspace Techniques And Probabilistic Modeling Of Features

Ibrahima J. Ndiour, Nilesh Ahuja+1 more|arXiv (Cornell University)|Dec 8, 2020

Anomaly Detection Techniques and Applications被引用数 9

ひとこと要約

本論文は、高次元の深層特徴を低次元の多様体に圧縮するための部分空間技術（線形：例えぱPCA、非線形：例えぱオートエンコーダー）を活用した、分布外（OOD）検出の新規手法を提案する。その後、これらの埋め込みの確率的モデリングを実施する。特徴再構成誤差と低次元部分空間における対数尤度スコアが、ベースライン手法に比べ顕著に優れていることが示され、CIFAR10、CIFAR100、SVHNで最高で13ポイント高いAUROCおよびAUPRを達成した。

ABSTRACT

This paper presents a principled approach for detecting out-of-distribution (OOD) samples in deep neural networks (DNN). Modeling probability distributions on deep features has recently emerged as an effective, yet computationally cheap method to detect OOD samples in DNN. However, the features produced by a DNN at any given layer do not fully occupy the corresponding high-dimensional feature space. We apply linear statistical dimensionality reduction techniques and nonlinear manifold-learning techniques on the high-dimensional features in order to capture the true subspace spanned by the features. We hypothesize that such lower-dimensional feature embeddings can mitigate the curse of dimensionality, and enhance any feature-based method for more efficient and effective performance. In the context of uncertainty estimation and OOD, we show that the log-likelihood score obtained from the distributions learnt on this lower-dimensional subspace is more discriminative for OOD detection. We also show that the feature reconstruction error, which is the $L_2$-norm of the difference between the original feature and the pre-image of its embedding, is highly effective for OOD detection and in some cases superior to the log-likelihood scores. The benefits of our approach are demonstrated on image features by detecting OOD images, using popular DNN architectures on commonly used image datasets such as CIFAR10, CIFAR100, and SVHN.

研究の動機と目的

• 深層ニューラルネットワークにおける分布外（OOD）検出の課題に対処すること。ここでの目的は、学習分布外のデータを同定することである。
• 高次元特徴空間における伝統的な確率的モデルが次元の呪いに直面するという限界を克服すること。
• 真のデータ多様体をよりよく反映する低次元部分空間で特徴をモデリングすることで、OOD検出性能を向上させること。
• 再構成誤差を尤度ベースの手法とは独立して、OOD検出の信頼性スコアとして用いる有効性を検証すること。
• 実世界の展開に適した限られたデータで学習した場合の本手法の頑健性を示すこと。

提案手法

• 高次元の深層特徴を低次元部分空間に圧縮するために、線形次元削減（例：PCA）と非線形多様体学習（例：オートエンコーダー）を適用する。
• 低次元部分空間上でクラス条件付き確率分布（例：多変量正規分布）を学習し、対数尤度スコアを計算する。
• 次元削減後の部分空間から元の空間へのプレイメージを復元し、その際の元の高次元特徴と再構成特徴のL2ノルムとして特徴再構成誤差を計算する。
• 対数尤度と再構成誤差を、OOD検出の信頼性スコアとして併用することで、モジュラリティの高い設計選択を可能にする。
• 訓練データの一部（例：20%）で部分空間モデルと確率分布を学習し、データ不足に対する頑健性を評価する。
• 複数のネットワークアーキテクチャを用いて、標準ベンチマーク（CIFAR10、CIFAR100、SVHN）でAUROCおよびAUPRといった標準指標を用いて性能を評価する。

実験結果

リサーチクエスチョン

• RQ1 元の高次元空間でモデリングするのと比較して、深層特徴を低次元部分空間に次元削減することで、OOD検出性能が向上するか？
• RQ2 低次元部分空間における特徴再構成誤差は、対数尤度スコアよりもOODの信頼性スコアとして優れているか？
• RQ3 深層特徴空間における多変量正規分布モデリングにおける等分散性仮定（共分散行列の共有）は、実際に成り立つか？また、この仮定が破綻するとOOD検出性能が低下するか？
• RQ4 訓練データが全データの20%程度に制限された場合、本手法の性能はどのようにスケーリングするか？
• RQ5 非線形部分空間技術（例：オートエンコーダー）は、複雑な特徴構造を示す深い層において、常に線形手法（例：PCA）を上回る性能を示すか？

主な発見

• 本手法は、CIFAR10、CIFAR100、SVHNの各データセットで、ベースライン手法に比べ最大で13ポイント高いAUROCおよびAUPRを達成した。
• 低次元部分空間における特徴再構成誤差は、OOD検出に非常に有効であり、特に深い層では対数尤度スコアを上回ることが多い。
• 非線形部分空間モデリング（例：オートエンコーダー）は、特徴多様体が複雑な非線形性を示す深い層において、常に線形手法（例：PCA）を上回る性能を示した。
• 訓練データをたった20%に制限しても、本手法は頑健であり、ほとんどの場合AUROCの低下は1%未満、稀に5%未満にとどまる。
• ベースラインのマハラノビス距離に基づく手法における等分散性仮定（共分散行列の共有）は、深層特徴空間ではしばしば破綻しており、一部のケースではソフトマックススコアよりも性能が劣ることもあった。
• 部分空間ベースのアプローチにより、低次元空間でより洗練された、複雑な生成モデルを活用できるようになり、不確実性推定の向上に新たな道を開いた。