[论文解读] InFlow: Robust outlier detection utilizing Normalizing Flows

Nishant Kumar, Pia Hanfeld+4 more|arXiv (Cornell University)|Jun 10, 2021

Adversarial Robustness in Machine Learning参考文献 41被引用 5

一句话总结

本文提出 InFlow，一种通过注意力机制增强的归一化流模型，可在训练过程中无需异常数据的情况下实现鲁棒的异常检测。通过利用注意力机制捕捉高层语义特征，InFlow 在分布外（OOD）检测任务中实现了最先进性能，其对分布外样本的似然值显著低于分布内数据，有效解决了标准归一化流模型的过度自信问题。

ABSTRACT

Normalizing flows are prominent deep generative models that provide tractable probability distributions and efficient density estimation. However, they are well known to fail while detecting Out-of-Distribution (OOD) inputs as they directly encode the local features of the input representations in their latent space. In this paper, we solve this overconfidence issue of normalizing flows by demonstrating that flows, if extended by an attention mechanism, can reliably detect outliers including adversarial attacks. Our approach does not require outlier data for training and we showcase the efficiency of our method for OOD detection by reporting state-of-the-art performance in diverse experimental settings. Code available at https://github.com/ComputationalRadiationPhysics/InFlow .

研究动机与目标

• 解决归一化流模型中分布外样本的似然值高于分布内样本的过度自信问题。
• 开发一种可靠的无监督 OOD 检测方法，且在训练过程中无需使用标注的异常数据。
• 证明将注意力机制引入现有归一化流模型可提升语义特征表示能力，并增强分布内与分布外数据的分离效果。
• 验证流模型的架构变化（如耦合块数量、权重共享策略）不会损害 OOD 检测性能，表明注意力机制是实现鲁棒性的关键因素。

提出的方法

• 在归一化流的耦合块中引入注意力机制，以提升对高层语义特征的建模能力，而非仅依赖局部像素相关性。
• 使用可逆、双射变换 $ f: \mathcal{X} \to \mathcal{Z} $，其参数 $ \theta $ 可学习，并通过变量变换公式计算可计算的对数似然值。
• 在潜在空间 $ z $ 上施加多元高斯先验，通过在 $ \log p_\theta(x) $ 上设置阈值实现基于似然的 OOD 检测。
• 在耦合块中对 $ s $ 和 $ t $ 子网络采用非共享权重，以增强表示能力并避免模式崩溃。
• 可视化激活值、耦合块输出及潜在空间表征，分析分布内与分布外样本的特征学习动态。
• 使用显著性水平 $ \alpha = 0.05 $ 下的 AUCROC 评估性能，比较多个 OOD 数据集上的对数似然分布。

实验结果

研究问题

• RQ1 归一化流中的注意力机制能否提升分布内与分布外样本的分离能力？
• RQ2 为何标准归一化流模型尽管具有可计算的似然值，却在 OOD 检测中表现不佳？
• RQ3 在不使用异常数据进行训练的前提下，归一化流中引入注意力机制是否能降低 OOD 预测的过度自信？
• RQ4 流模型的架构设计（如耦合块数量、权重共享）如何影响 OOD 检测性能？
• RQ5 基于注意力的归一化流能否在包括 MNIST、SVHN、CIFAR10 和 Tiny ImageNet 在内的多样化 OOD 数据集上实现良好泛化？

主要发现

• InFlow 在所有评估的 OOD 数据集上均实现了最先进 AUCROC 性能，当在 CelebA 上训练时，其在 MNIST、FashionMNIST、SVHN、CIFAR10、Tiny ImageNet、Noise 和 Constant 数据集上的 AUCROC 值均为 1.0。
• 即使在 $ \alpha = 0.05 $ 的显著性水平下，该模型对所有 OOD 数据集的对数似然值也显著低于分布内 CelebA 样本，证明了其具备鲁棒的 OOD 检测能力。
• 可视化结果表明，InFlow 在分布内数据中保留了潜在空间中的语义结构，而将分布外输入转换为结构更松散、似然更低的表征。
• 注意力机制使模型能够学习高层语义信息，而非依赖局部像素级统计特征，这解释了其更强的泛化能力。
• 改变如耦合块数量（$ K=2 $ 与 $ K=4 $）和权重共享策略（共享与非共享）等架构超参数，并未降低 OOD 检测性能，表明注意力机制具有高度鲁棒性。
• 结果表明，未来 OOD 检测的研究应聚焦于通过引入注意力机制增强现有归一化流模型，而非重新设计流架构。