[論文レビュー] Input complexity and out-of-distribution detection with likelihood-based generative models

Joan Serrà, David Álvarez+4 more|arXiv (Cornell University)|Sep 25, 2019

Adversarial Robustness in Machine Learning参考文献 30被引用数 98

ひとこと要約

この論文は、入力の複雑さが生成モデルの尤度を偏らせることを示し、損失のない圧縮から得られる複雑さ推定 L(x) を用いた尤度-比に似た OOD スコア S = -log p(x|M) - L(x) を提案。ハイパーパラメータなしで、さまざまなデータセットとモデルで競争力のある OOD 検出を実現。

ABSTRACT

Likelihood-based generative models are a promising resource to detect out-of-distribution (OOD) inputs which could compromise the robustness or reliability of a machine learning system. However, likelihoods derived from such models have been shown to be problematic for detecting certain types of inputs that significantly differ from training data. In this paper, we pose that this problem is due to the excessive influence that input complexity has in generative models' likelihoods. We report a set of experiments supporting this hypothesis, and use an estimate of input complexity to derive an efficient and parameter-free OOD score, which can be seen as a likelihood-ratio, akin to Bayesian model comparison. We find such score to perform comparably to, or even better than, existing OOD detection approaches under a wide range of data sets, models, model sizes, and complexity estimates.

研究の動機と目的

• 入力の複雑さが生成モデルの尤度に強くバイアスをかけることを示す。
• 複雑さ補正付きの OOD スコアを提案して、アウト・オブ・ディストリビューション入力を検出する。
• 提案スコアを、さまざまなデータセットとモデルにわたって既存の OOD 手法と比較する。
• スコアを尤度比検定としての理論的解釈を提供する。
• 方法の実用的でパラメーターフリーな適用性を示す。

提案手法

• Autoregressive および invertible な生成モデル（PixelCNN++ および Glow）を CIFAR10/FashionMNIST 似のデータセットで学習させ、対数尤度を得る。
• 損失なし圧縮機（PNG, JPEG2000, FLIF）を用いた正規化された圧縮長を用いて入力複雑さ L(x) を推定する。
• OOD スコア S(x) = -ell_M(x) - L(x) を定義する。ここで ell_M(x) はモデル M の下での対数尤度。
• S(x) を universal な圧縮機 M0 の下での尤度比検定統計量として解釈する。
• AUROC を主指標として、分布内対比と分布外対の複数のペアで S を評価する。
• S の性能に対するモデルサイズと圧縮機の選択の影響を調査する。）
• 研究の質問に対応する各種検討を通じて、入力複雑さが尤度に与える影響を検証する。

実験結果

リサーチクエスチョン

• RQ1 入力の複雑さは、生成モデルによる尤度ベースの OOD 検出の失敗を説明できるか。
• RQ2 複雑さ補正付きの尤度スコアは、さまざまなデータセットとモデルで OOD 検出を改善するか。
• RQ3 提案スコアは、既存の生成モデルベースおよび分類器ベースの OOD 手法とどう比較されるか。
• RQ4 スコアはパラメーターフリーで、モデルサイズと圧縮機の選択に対して頑健か。
• RQ5 ベイズ的モデル比較や MDL 原理の枠組みでこのアプローチを解釈できるか。

主な発見

• 生成モデルの尤度は入力複雑さと強く負の相関があり、尤度の分散の大部分を説明することもある。
• L(x) を用いた複雑さベースの調整は、パラメーターフリーの OOD スコア S を生み出し、-ell_M(x) のみを用いる場合より AUROC を改善する場面が多い。
• CIFAR10 で訓練されたモデルの場合、S は通常 AUROC が 0.7 を超え、いくつかのデータセットで 0.9–1.0 に近づき、尤度のみよりも優れている。
• S は、既存の分類器ベースおよび生成ベースの OOD 手法と競合し、場合によっては優れており、モデルと圧縮機の選択以外にはハイパーパラメータを要しない。
• より大きな生成モデルとより良い圧縮機は、S の識別性能を向上させる傾向がある。