[論文レビュー] InFlow: Robust outlier detection utilizing Normalizing Flows

Nishant Kumar, Pia Hanfeld+4 more|arXiv (Cornell University)|Jun 10, 2021

Adversarial Robustness in Machine Learning参考文献 41被引用数 5

ひとこと要約

本稿では、トレーニング時に異常データを必要とせずに、外れ値検出のロバスト性を向上させるためにアテンション機構を統合した正規化フロー、InFlowを提案する。アテンションを活用することで高レベルの意味的特徴を捉えることができ、標準的な正規化フローが示す過信問題を解消し、分布外（OOD）サンプルに対して著しく低い尤度を割り当てる。これにより、OOD検出において最先端の性能を達成する。

ABSTRACT

Normalizing flows are prominent deep generative models that provide tractable probability distributions and efficient density estimation. However, they are well known to fail while detecting Out-of-Distribution (OOD) inputs as they directly encode the local features of the input representations in their latent space. In this paper, we solve this overconfidence issue of normalizing flows by demonstrating that flows, if extended by an attention mechanism, can reliably detect outliers including adversarial attacks. Our approach does not require outlier data for training and we showcase the efficiency of our method for OOD detection by reporting state-of-the-art performance in diverse experimental settings. Code available at https://github.com/ComputationalRadiationPhysics/InFlow .

研究の動機と目的

• 正規化フローにおいて、OODサンプルが分布内サンプルよりも高い尤度を割り当てられるという過信問題を解消すること。
• トレーニング時にラベル付きの異常データを必要としない、信頼性の高い非教師ありOOD検出手法の開発。
• 既存の正規化フローにアテンション機構を拡張することで、意味的特徴表現の向上と分布内データとOODデータの分離が図られることの実証。
• フローのアーキテクチャの変種（例：結合ブロック数、重み共有の有無）がOOD検出性能に与える影響を検証し、アテンションがロバスト性の鍵要因であることを示唆すること。

提案手法

• 正規化フローの結合ブロックにアテンション機構を統合し、局所的なピクセル相関だけでなく、高レベルの意味的特徴のモデリングを向上させる。
• 学習可能なパラメータ $ \theta $ を持つ可逆的・一対一対応の変換 $ f: \mathcal{X} \to \mathcal{Z} $ を用い、変数変換の公式を適用して計算可能な尤度を算出する。
• 潜在空間 $ z $ に多変量正規分布事前分布を適用し、$ \log p_\theta(x) $ のしきい値による判定により尤度ベースのOOD検出を可能にする。
• 結合ブロック内の $ s $ および $ t $ のサブネットワークに共有重みを使用しない設計を採用することで、表現力の向上とモード崩壊の回避を図る。
• 分布内およびOODサンプルにおける特徴学習のダイナミクスを分析するため、活性化、結合ブロック出力、潜在空間表現の可視化を実施する。
• AUCROCを有意水準 $ \alpha = 0.05 $ で評価し、複数のOODデータセットにおける尤度分布の比較を通じて性能を検証する。

実験結果

リサーチクエスチョン

• RQ1 正規化フローにアテンション機構を導入することで、分布内と分布外のサンプルの分離が向上するか？
• RQ2 計算可能な尤度を持つにもかかわらず、なぜ標準的な正規化フローはOOD検出に失敗するのか？
• RQ3 トレーニング時に異常データを必要とせず、OOD予測の過信をアテンションの導入によって軽減できるか？
• RQ4 フローのアーキテクチャ設計（例：結合ブロック数、重み共有の有無）がOOD検出性能に与える影響は何か？
• RQ5 アテンションベースの正規化フローは、MNIST、SVHN、CIFAR10、Tiny ImageNetを含む多様なOODデータセットに一般化可能か？

主な発見

• InFlowは、すべての評価対象のOODデータセットで最先端のAUCROC性能を達成し、CelebAで学習した場合、MNIST、FashionMNIST、SVHN、CIFAR10、Tiny ImageNet、Noise、ConstantデータセットでAUCROC値が1.0を記録した。
• すべてのOODデータセットに対して、分布内のCelebAサンプルと比較して著しく低い対数尤度が割り当てられており、$ \alpha = 0.05 $ でも同様の結果を示しており、OOD検出のロバスト性を裏付けている。
• 可視化結果から、InFlowは分布内データでは潜在空間に意味的構造を保持している一方で、OOD入力はより構造のない、尤度が低い表現に変換されていることが確認された。
• アテンション機構により、モデルは局所的なピクセルレベルの統計に依存するのではなく、高レベルの意味的特徴を学習でき、これが一般化性能の向上を説明している。
• 結合ブロック数（$ K=2 $ 対 $ K=4 $）や重み共有（共有対非共有）といったアーキテクチャハイパーパramータの変更が、OOD検出性能に悪影響を及えないことが確認され、アテンション機構のロバスト性を示している。
• 今後のOOD検出研究においては、フローアーキテクチャの再設計よりも、既存の正規化フローにアテンション機構を統合することで性能を向上させることが焦点となるべきであると示唆される。