[論文レビュー] Out-of-distribution Detection via Frequency-regularized Generative Models

Mu Cai, Yixuan Li|arXiv (Cornell University)|Aug 18, 2022

Generative Adversarial Networks and Image Synthesis被引用数 6

ひとこと要約

本論文では、トレーニング中に高周波成分を組み込むことで、深層生成モデルにおける分布外（OOD）検出を向上させる、プラグアンドプレイなフレームワーク「周波数正則化学習（FRL）」を提案する。モデルが背景のテクスチャに過剰に依存するのを防ぎ、意味的詳細に注目させるように正則化することで、VAE、GLOW、PixelCNN++アーキテクチャのあらゆるモデルでOOD検出性能が向上し、CelebAでは尤度後悔法（Likelihood Regret）と比較して10.7%のAUROC向上を達成。推論速度は147倍高速化された。

ABSTRACT

Modern deep generative models can assign high likelihood to inputs drawn from outside the training distribution, posing threats to models in open-world deployments. While much research attention has been placed on defining new test-time measures of OOD uncertainty, these methods do not fundamentally change how deep generative models are regularized and optimized in training. In particular, generative models are shown to overly rely on the background information to estimate the likelihood. To address the issue, we propose a novel frequency-regularized learning FRL framework for OOD detection, which incorporates high-frequency information into training and guides the model to focus on semantically relevant features. FRL effectively improves performance on a wide range of generative architectures, including variational auto-encoder, GLOW, and PixelCNN++. On a new large-scale evaluation task, FRL achieves the state-of-the-art performance, outperforming a strong baseline Likelihood Regret by 10.7% (AUROC) while achieving 147$ imes$ faster inference speed. Extensive ablations show that FRL improves the OOD detection performance while preserving the image generation quality. Code is available at https://github.com/mu-cai/FRL.

研究の動機と目的

• 深層生成モデルが分布外（OOD）サンプルに対して高い尤度を割り当てるという限界を是正すること。特に、背景特徴に過剰に依存するための原因を解決すること。
• テスト時の推論手順を変更せずに、周波数ドメインにおける正則化によってモデルトレーニングそのものを根本的に変更することで、OOD検出性能を向上させること。
• 最小限で一般化可能なトレーニングの修正により、高品質な画像生成を維持しながら、OOD検出性能を向上させること。
• 標準的なベンチマーク（CIFAR-10など）を超えて、大規模かつ高解像度のデータセットにおける周波数ベース正則化の有効性を示すこと。

提案手法

• FRLフレームワークは、トレーニング時に元の画像をフーリエ変換およびハイパスフィルタリングによって得られる高周波成分を、入力画像に追加する。
• この高周波成分が正則化子として機能し、生成モデルが低周波の背景パターンではなく、物体の輪郭や意味的詳細に注目するよう促す。
• この手法はアーキテクチャに依存せず、VAE、フローベースモデル（例：GLOW）、自己回帰モデル（例：PixelCNN++）に最小限の変更で適用可能。入力チャネル数を変更するのみ。
• 推論時、元の画像とその高周波表現を連結し、結合された入力を用いて尤度を計算することでOODスコアを出力する。
• 古典的な信号処理の原則に従い、高周波成分はノイズや背景ではなく、構造的・意味的コンテンツをエンコードすることが知られている。
• ベースとなる生成モデルのトレーニング目的関数はそのままであり、FRLは尤度目的関数を変更せず、テスト時にオンライン最適化を必要としない周波数ベースの正則化子を追加する。

実験結果

リサーチクエスチョン

• RQ1 高周波画像成分による正則化によって、深層生成モデルのインディストリビューション（ID）とアウトオブディストリビューション（OOD）サンプルの区別能力が向上するか？
• RQ2 高周波特徴に注目させることで、現在OODデータに対して高い尤度を割り当てる背景テクスチャへの過剰な依存が軽減されるか？
• RQ3 シンプルで即席的な周波数正則化技術が、多様な生成アーキテクチャにわたり最先端のOOD検出性能を達成できるか？
• RQ4 FRLフレームワークは、OOD検出性能を向上させながらも、高品質な画像生成能力を維持できるか？
• RQ5 FRLは、従来手法が計算上のボトル neck を抱える高解像度・大規模データセット（例：CelebA）に対しても、効果的にスケーリングできるか？

主な発見

• CelebAデータセットでは、FRLは強力なベースライン「尤度後悔法（Likelihood Regret）」と比較して10.7%高いAUROCを達成し、OOD検出分野で最先端の性能を示した。
• FRLは、テスト時にオンライン最適化を必要とする尤度後悔法と比較して、147倍の高速な推論速度を達成し、リアルタイム応用に適している。
• GLOWモデルにおいて、FRLは複数のOODベンチマークで、最良のベースライン「入力複雑度（Input Complexity）」と比較してCIFAR-10で7.5%のAUROC向上を達成した。
• アブレーションスタディにより、高周波正則化が性能向上に不可欠であることが確認され、この成分を除去するとOOD検出精度が著しく低下した。
• 標準的な指標で測定したところ、FRLは高精細な画像生成品質を維持しており、生成能力の劣化は認められなかった。
• FRLは、CelebAのような高解像度データセットにおいて、従来のCIFAR-10 や Fashion-MNISTベンチマークを超えて、強力なOOD検出性能を示した最初の手法である。