[论文解读] Manifolds for Unsupervised Visual Anomaly Detection

Louise Naud, Alexander Lavin|arXiv (Cornell University)|Jun 19, 2020

Anomaly Detection Techniques and Applications参考文献 46被引用 5

一句话总结

本文提出了一种立体投影变分自编码器（SP-VAE），通过利用超球面和双曲流形来提升无监督视觉异常检测性能。通过引入一种新颖的旋翼平面层（gyroplane layer）实现立体投影，该模型学习到平滑且可解释的潜在流形，能够更有效地分离正常与异常数据，在工业和组织病理学基准测试中达到最先进性能，包括在无标签条件下对脑肿瘤亚型分类的 AUC 超过 0.97。

ABSTRACT

Anomalies are by definition rare, thus labeled examples are very limited or nonexistent, and likely do not cover unforeseen scenarios. Unsupervised learning methods that don't necessarily encounter anomalies in training would be immensely useful. Generative vision models can be useful in this regard but do not sufficiently represent normal and abnormal data distributions. To this end, we propose constant curvature manifolds for embedding data distributions in unsupervised visual anomaly detection. Through theoretical and empirical explorations of manifold shapes, we develop a novel hyperspherical Variational Auto-Encoder (VAE) via stereographic projections with a gyroplane layer - a complete equivalent to the Poincaré VAE. This approach with manifold projections is beneficial in terms of model generalization and can yield more interpretable representations. We present state-of-the-art results on visual anomaly benchmarks in precision manufacturing and inspection, demonstrating real-world utility in industrial AI scenarios. We further demonstrate the approach on the challenging problem of histopathology: our unsupervised approach effectively detects cancerous brain tissue from noisy whole-slide images, learning a smooth, latent organization of tissue types that provides an interpretable decisions tool for medical professionals.

研究动机与目标

• 通过在具有常曲率的非欧几里得黎曼流形上建模数据分布，提升无监督视觉异常检测性能。
• 探究超球面与双曲潜在空间是否比平坦的欧几里得空间更优地表征正常与稀疏异常视觉数据。
• 开发一种可微分且可逆的变换——通过旋翼平面层——实现双曲面、超球面与庞加莱球流形之间的立体投影。
• 实现在非欧几里得潜在空间中的可靠测地线插值，避免线性近似带来的校准误差。
• 在真实工业与医疗人工智能场景中展示该方法的实用性，特别是在全切片组织病理学图像的神经病理学领域。

提出的方法

• 提出一种立体投影变分自编码器，通过共形、双射且保角的立体投影，在双曲面与超球面流形之间进行映射。
• 引入一种新颖的旋翼平面层，使神经网络操作能够在非欧几里得潜在空间中实现，支持超球面与双曲几何。
• 采用庞加莱映射在潜在空间中可视化并插值正常与异常组织区域，保持测地线结构。
• 通过公式 (2) 的测地线插值生成沿曲线路径的逼真中间样本，与欧几里得潜在空间中的线性插值形成对比。
• 通过识别远离学习到的流形的点（尤其在稀疏区域）来应用模型进行无监督异常检测。
• 在潜在空间中对离散化的异常样本进行分类器训练，以评估下游性能，实现高 AUC 而无需标签。

实验结果

研究问题

• RQ1 具有常曲率的黎曼流形——特别是超球面与双曲空间——是否能为正常与异常视觉数据提供比平坦欧几里得空间更自然且高效的嵌入？
• RQ2 双曲面与庞加莱球之间，或超球面与投影球面之间的立体投影，在多大程度上保持了深度生成模型中表示学习所必需的几何特性？
• RQ3 在非欧几里得潜在空间中，测地线插值相较于欧几里得空间中的线性插值，能在多大程度上生成更合理且可解释的中间样本？
• RQ4 一种具有非欧几里得潜在空间的自监督无监督 VAE 是否能有效组织复杂且无标注的组织病理学数据，并在无任何标注的情况下检测癌变组织？
• RQ5 所提出的 SP-VAE 是否在真实世界中的无监督视觉异常检测基准（包括制造与医学影像）中达到最先进性能？

主要发现

• SP-VAE 在精密制造与工业检测的视觉异常检测基准上实现了最先进性能，优于以往的无监督方法。
• 在神经病理学中，该模型在无标签条件下学习到脑组织亚型的平滑、分层潜在组织结构，从而实现对癌变区域的可靠检测。
• 该模型在仅使用无监督潜在表示的情况下，对五种脑肿瘤亚型的多类别 AUC 超过 0.97，与完全监督的最先进方法相当。
• 潜在空间中的测地线插值生成了反映合理生物学过渡的逼真中间组织图像，而线性插值则产生模糊且不自然的混合效果。
• 在非欧几里得空间中对测地线的线性近似会导致校准误差，尤其在稀疏异常点之间的长距离插值中更为显著。
• 采用庞加莱映射揭示了正常与异常组织区域之间一致且可解释的组织结构，支持临床可解释性与决策支持。