[論文レビュー] Multiscale Score Matching for Out-of-Distribution Detection

Ahsan Mahmood, Junier B. Oliva+1 more|arXiv (Cornell University)|May 3, 2021

Cell Image Analysis Techniques参考文献 27被引用数 1

ひとこと要約

本論文は、マルチスケールスコアマッチングを用いた、未知の分布（OOD）検出のための新規で教師なし手法を提案する。深層ネットワークを複数のノイズレベルでのスコア推定に訓練し、入力次元にわたるこれらのスコアのL2ノルムを計算し、それらをL次元空間にマップする。その後、その空間における分布内領域を学習する補助モデル（例：GMM）を用いる。本手法は、特にCIFAR-10とSVHNのOOD検出設定において、最先端の手法を顕著に上回る性能を示す。

ABSTRACT

We present a new methodology for detecting out-of-distribution (OOD) images by utilizing norms of the score estimates at multiple noise scales. A score is defined to be the gradient of the log density with respect to the input data. Our methodology is completely unsupervised and follows a straight forward training scheme. First, we train a deep network to estimate scores for L levels of noise. Once trained, we calculate the noisy score estimates for N in-distribution samples and take the L2-norms across the input dimensions (resulting in an NxL matrix). Then we train an auxiliary model (such as a Gaussian Mixture Model) to learn the in-distribution spatial regions in this L-dimensional space. This auxiliary model can now be used to identify points that reside outside the learned space. Despite its simplicity, our experiments show that this methodology significantly outperforms the state-of-the-art in detecting out-of-distribution images. For example, our method can effectively separate CIFAR-10 (inlier) and SVHN (OOD) images, a setting which has been previously shown to be difficult for deep likelihood models.

研究の動機と目的

• 尤度ベースのモデルが失敗する状況において、深層生成モデルにおける未知の分布（OOD）画像の検出という課題に取り組む。
• 標準的な分布以外の分布内データを訓練データに必要としない手法を開発し、完全に教師なしのOOD検出を実現する。
• CIFAR-10とSVHNを区別するような困難なベンチマーク設定におけるOOD検出性能を向上させる。
• 複数のノイズスケールにわたるスコア推定の幾何的構造を活用し、潜在空間における分布内データ領域をよりよく特徴づける。

提案手法

• Lつの異なるノイズレベルでスコア（対数密度の勾配）を推定するための深層ニューラルネットワークを、各スケールごとにスコアマッチング損失を用いて訓練する。
• 各分布内入力に対して、Lつのノイズレベルの各々で入力次元にわたるスコア推定値のL2ノルムを計算し、1サンプルあたりL次元の埋め込みを形成する。
• Gaussian Mixture Model（GMM）などの補助モデルを用いて、そのL2ノルム埋め込みの分布を分布内データから学習する。
• L次元空間における学習済みの分布内領域の外側にある場合に、サンプルをOODと分類する。
• 本手法は完全に教師なしであり、訓練時にOODデータを必要とせず、新しい分布内分布に対しても再訓練を必要としない。
• マルチスケールスコア推定により、階層的なデータ構造が捉えられ、分布内・外のサンプルの識別性能が向上する。

実験結果

リサーチクエスチョン

• RQ1 マルチスケールスコア推定は、単一スケールのベースラインと比較して、未知の分布画像の検出を改善できるか？
• RQ2 本手法は、CIFAR-10とSVHNのように似ているが異なる分布を区別する際、どの程度有効か？
• RQ3 複数のノイズレベルにわたるスコア推定のL2ノルムは、元のスコア値と比較して、分布内モデリングに向けたより頑健な表現を提供するか？
• RQ4 GMMのような単純な補助モデルでも、マルチスケールスコアノルム空間における分布内多様体を効果的に捉えることができるか？
• RQ5 本手法は、OODデータや再訓練を必要とせずに、さまざまな分布内データセットにどの程度一般化可能か？

主な発見

• 提案手法は、OOD検出において最先端の性能を達成しており、特にCIFAR-10対SVHNベンチマークで顕著な優位性を示す。
• CIFAR-10（インライヤー）とSVHN（OOD）を区別できなかった既存の尤度ベースモデルと比較して顕著に優れている。
• マルチスケールスコアノルムの使用により、ノイズスケールにわたる階層的データ構造が捉えられ、識別性能が向上する。
• 補助モデルが単純（例：GMM）であっても本手法は有効であるため、学習済み表現の頑健性が示された。
• 本手法は完全に教師なしであり、訓練時にOODデータにアクセスする必要がないため、実世界の展開に実用的である。
• 複数のノイズスケールにわたるスコア推定のL2ノルムは、OOD検出に適したコンパクトで判別力のある特徴空間を形成する。