[論文レビュー] Dream the Impossible: Outlier Imagination with Diffusion Models

Xuefeng Du, Yiyou Sun+2 more|arXiv (Cornell University)|Sep 23, 2023

Anomaly Detection Techniques and Applications被引用数 8

ひとこと要約

Dream-ood は拡散モデルを用いて適合分布データを条件にピクセル空間で写真実写的な外れ値を生成し、OOD検出を強化し、ID一般化の可能性を示します。

ABSTRACT

Utilizing auxiliary outlier datasets to regularize the machine learning model has demonstrated promise for out-of-distribution (OOD) detection and safe prediction. Due to the labor intensity in data collection and cleaning, automating outlier data generation has been a long-desired alternative. Despite the appeal, generating photo-realistic outliers in the high dimensional pixel space has been an open challenge for the field. To tackle the problem, this paper proposes a new framework DREAM-OOD, which enables imagining photo-realistic outliers by way of diffusion models, provided with only the in-distribution (ID) data and classes. Specifically, DREAM-OOD learns a text-conditioned latent space based on ID data, and then samples outliers in the low-likelihood region via the latent, which can be decoded into images by the diffusion model. Different from prior works, DREAM-OOD enables visualizing and understanding the imagined outliers, directly in the pixel space. We conduct comprehensive quantitative and qualitative studies to understand the efficacy of DREAM-OOD, and show that training with the samples generated by DREAM-OOD can benefit OOD detection performance. Code is publicly available at https://github.com/deeplearning-wisc/dream-ood.

研究の動機と目的

• 過剰信頼を抑制する補助データ正規化を通じてOOD検出を動機づけ、対処する。
• manual なキュレーションなしに外れ値データを自動生成し、高解像度で人間が解釈できる外れ値を実現する。
• ピクセル空間で有益な外れ値をサンプリング可能にするテキスト条件付き潜在空間を活用する。
• 合成誘導正規化が標準的なベンチマークでOOD検出を改善することを示す。

提案手法

• イメージエンコーダを訓練してテキスト条件付き潜在空間を学習し、クラス間で拡散モデルのトークン埋め込みとイメージ埋め込みを整合させる。
• テキスト条件付き潜在空間における低尤度埋め込みをサンプルし、それらを拡散モデルを用いてピクセル空間の外れ値としてデコードする。
• ID分類器を、ID画像と生成されたOOD画像の分離を促す損失（L_ood）と標準のクロスエントロピー（L_CE）を組み合わせて正規化する。
• 境界ID埋め込みの周囲でk-NNベースのサンプリング戦略を用いて近似OODサンプルを生成する。
• Dream-ood を Dream-id に拡張するオプションとして、分布シフトの改善を目的にID様のインライアをサンプルする。

実験結果

リサーチクエスチョン

• RQ1 拡散モデルはIDデータを条件にして高解像度かつ写真実写的な外れ値を想像的に生成できるか。
• RQ2 ピクセル空間で合成された外れ値は潜在空間やランダムプロンプトに比べてOOD検出を改善するか。
• RQ3 提案されたテキスト条件付き潜在空間は想像された外れ値の解釈可能な視覚化を可能にするか。
• RQ4 合成外れ値はデータ拡張として利用した場合、ID一般化も改善できるか。

主な発見

• Dream-ood はIDデータから逸脱し人間が解釈できる意味のある高解像度の外れ値を生成する。
• Dream-ood が生成サンプルを用いて複数のデータセット・ベースラインでOOD検出を改善し、従来の合成手法より優れることが多い。
• Dream-ood は従来の潜在空間アプローチとは異なり想像された外れ値の可視化を可能にし、ピクセル空間での現実感にも利点を示す。
• 正規化の重みが控えめな場合に最良のOOD性能を示し、過度な正規化は結果を損なう可能性がある。
• Dream-id は合成フレームワークが分布シフトベンチマークでID一般化を改善することも示す。