[論文レビュー] Why Normalizing Flows Fail to Detect Out-of-Distribution Data

Polina Kirichenko, Pavel Izmailov+1 more|arXiv (Cornell University)|Jun 15, 2020

Generative Adversarial Networks and Image Synthesis参考文献 6被引用数 31

ひとこと要約

本論文は正規化フローがなぜしばしばOODデータを分布内データとして誤分類するのかを分析し、それらの帰納的バイアスが語義構造ではなく局所的な画素相関に依存させることを示す。さらにOOD検出を改善する設計変更を実証し、意味特徴を用いる利点を浮き彫りにする。

ABSTRACT

Detecting out-of-distribution (OOD) data is crucial for robust machine learning systems. Normalizing flows are flexible deep generative models that often surprisingly fail to distinguish between in- and out-of-distribution data: a flow trained on pictures of clothing assigns higher likelihood to handwritten digits. We investigate why normalizing flows perform poorly for OOD detection. We demonstrate that flows learn local pixel correlations and generic image-to-latent-space transformations which are not specific to the target image dataset. We show that by modifying the architecture of flow coupling layers we can bias the flow towards learning the semantic structure of the target data, improving OOD detection. Our investigation reveals that properties that enable flows to generate high-fidelity images can have a detrimental effect on OOD detection.

研究の動機と目的

• 正規化フローが厳密な尤度を示しながらもOODデータを検出できない理由を特定する。
• OOD検出を妨げる結合層フローの帰納的バイアスを分析する。
• 潜在表現を可視化し、Flowがどの意味情報を捉えているかを理解する。
• 結合層とマスキング戦略のアーキテクチャ上の調整を提案し、意味的構造へと流れを偏らせる。
• 意味的に豊かな埋め込みがフローのOOD検出に与える影響を評価する。

提案手法

• RealNVP/フロー系モデルの対数尤度挙動を分析する（例：ImageNet、CelebA、SVHN）。
• 中間の結合層の活性化および学習された s（scale）と t（shift）パラメータを可視化して、局所的表現と意味的表現を理解する。
• 結合層メカニズム（局所的画素相関と協調適応）が、内部・外部データの両方に高い尤度を生み出す仕組みを調査する。
• マスキング戦略（チェッカーボード、水平、サイクルマスク）を用いて、OOD検出への効果を評価する。
• st-ネットワークにボトルネックを導入して容量を制限し、局所的画素相関への依存を減らす。
• 生データのピクセルではなく高レベルの意味埋込みで学習させた場合にOOD検出が改善されることを示す。

実験結果

リサーチクエスチョン

• RQ1 正規化フローにおけるどの帰納的バイアスがOOD検出の不良を引き起こすのか。
• RQ2 局所的な画素相関と結合層の共適応は、OODデータに高い尤度を与えることを可能にするか。
• RQ3 結合層やマスキング戦略のアーキテクチャ上の変更は、流れを意味表現へ偏らせてOOD検出を改善できるか。
• RQ4 生データのピクセル学習と比較して、高レベルの意味埋込みで学習することはOOD検出を高めるか。

主な発見

• フローは意味的内容よりも局所的なグラフィカル構造に基づく潜在表現を学習し、意味的OOD検出を妨げる。
• 結合層は内部・外部分布データのどちらのマスクされたピクセルを正確に予測でき、さまざまな構造化画像に高い尤度をもたらす。
• マスキング戦略を変更するか、st-ネットワークにボトルネックを導入すると、結合層の共適応が減少し、内部分布データのOODランクが改善される。
• 意味的内容を持つ画像埋込みでフローを訓練すると、生データピクセルで訓練する場合と比べてOOD検出が著しく改善される。
• 高レベル特徴（埋込み）を用いると生データピクセルよりOOD検出が向上し，分布内データとOODデータの分離がより鮮明になる。