[논문 리뷰] Manifolds for Unsupervised Visual Anomaly Detection

Louise Naud, Alexander Lavin|arXiv (Cornell University)|2020. 06. 19.

Anomaly Detection Techniques and Applications참고 문헌 46인용 수 5

한 줄 요약

이 논문은 비유럽형 리만 다양체인 초구면 및 쌍곡 다양체를 활용하여 비지도 시각 이상 탐지 성능을 햖थ한 스테레오그래픽 투영 변분 오토인코더(SP-VAE)를 제안한다. 새로운 기하학적 평면층(gyroplane layer)을 통해 스테레오그래픽 투영을 구현함으로써, 정규 및 이상 데이터를 더 잘 분리하는 매끄럽고 해석 가능한 잠재 다양체를 학습한다. 이로 인해 산업 및 조직병리학 기준에서 최고 성능을 기록하였으며, 레이블 없이도 뇌 종양 아형을 분류할 때 AUC > 0.97를 달성하였다.

ABSTRACT

Anomalies are by definition rare, thus labeled examples are very limited or nonexistent, and likely do not cover unforeseen scenarios. Unsupervised learning methods that don't necessarily encounter anomalies in training would be immensely useful. Generative vision models can be useful in this regard but do not sufficiently represent normal and abnormal data distributions. To this end, we propose constant curvature manifolds for embedding data distributions in unsupervised visual anomaly detection. Through theoretical and empirical explorations of manifold shapes, we develop a novel hyperspherical Variational Auto-Encoder (VAE) via stereographic projections with a gyroplane layer - a complete equivalent to the Poincaré VAE. This approach with manifold projections is beneficial in terms of model generalization and can yield more interpretable representations. We present state-of-the-art results on visual anomaly benchmarks in precision manufacturing and inspection, demonstrating real-world utility in industrial AI scenarios. We further demonstrate the approach on the challenging problem of histopathology: our unsupervised approach effectively detects cancerous brain tissue from noisy whole-slide images, learning a smooth, latent organization of tissue types that provides an interpretable decisions tool for medical professionals.

연구 동기 및 목표

• 비유클리드 리만 다양체(일정 곡률을 가진)에서 데이터 분포를 모델링하여 비지도 시각 이상 탐지 성능을 향상시키는 것.
• 평평한 유클리드 공간에 비해 초구면 및 쌍곡 잠재 공간이 정규 및 희박한 이상 시각 데이터를 더 잘 표현하는지 조사하는 것.
• 쌍곡면, 초구면, 포incare 구 다양체 간의 스테레오그래픽 투영을 위한 미분 가능하고 역행 가능한 변환—기하학적 평면층을 통해 구현하는 것.
• 선형 근사의 교정 오차를 피하기 위해 비유클리드 잠재 공간에서 신뢰할 수 있는 지오데식 보간을 가능하게 하는 것.
• 특히 전체 슬라이드 영상이 포함된 신경병리학 분야에서 실생활 산업 및 의료 AI 환경에서의 응용 가능성을 입증하는 것.

제안 방법

• 스테레오그래픽 투영을 통해 초구면과 쌍곡면 다양체 간의 매핑을 수행하는 스테레오그래픽 투영 VAE를 제안한다. 이는 등각, 전단사, 각도를 유지하는 투영을 특징으로 한다.
• 비유클리드 잠재 공간에서 신경망 연산을 가능하게 하는 새로운 기하학적 평면층(gyroplane layer)을 도입하여 초구면 및 쌍곡 기하학을 모두 지원한다.
• 지오데식 보간을 위해 포incare 매핑을 활용하여 잠재 공간 내 정상 및 이상 조직 영역 간의 시각화 및 보간을 수행한다. 이는 지오데식 기하학적 구조를 유지한다.
• 식 (2)를 통해 지오데식 보간을 실시하여 곡선 경로를 따라 현실적인 중간 샘플을 생성하며, 유클리드 잠재 공간의 선형 보간과 대비한다.
• 학습된 다양체에서 멀리 떨어진 점—특히 희박한 영역에서의 이상치를 식별함으로써 비지도 이상 탐지에 적용한다.
• 잠재 공간에서 이산화된 이상 샘플을 기반으로 분류기를 훈련시켜 후속 성능 평가를 수행하였으며, 레이블 없이도 높은 AUC 성능을 달성하였다.

실험 결과

연구 질문

• RQ1 일정 곡률을 가진 리만 다양체—특히 초구면 및 쌍곡 공간—이 평평한 유클리드 공간에 비해 정규 및 이상 시각 데이터에 더 자연스럽고 효율적인 임bedding을 제공할 수 있는가?
• RQ2 쌍곡면과 포incare 구, 또는 초구면과 투영된 구 사이의 스테레오그래픽 투영이 딥 생성 모델의 표현 학습에 필수적인 기하학적 성질을 어떻게 유지하는가?
• RQ3 비유클리드 잠재 공간에서의 지오데식 보간이 유클리드 공간의 선형 보간에 비해 더 현실적이고 해석 가능한 중간 샘플을 도출하는 데 얼마나 효과적인가?
• RQ4 비지도, 자기지도 기반 VAE가 비유클리드 잠재 공간을 갖추고 복잡한 레이블이 없는 조직병리학 데이터를 효과적으로 정리하고, 어떠한 애너테이션 없이도 악성 조직을 탐지할 수 있는가?
• RQ5 제안된 SP-VAE가 제조 및 의료 영상 분야의 실생활 비지도 시각 이상 탐지 기준에서 최고 성능을 달성하는가?

주요 결과

• SP-VAE는 정밀 제조 및 검사 분야의 시각 이상 탐지 기준에서 최고 성능을 기록하였으며, 이전의 비지도 방법들을 능가하였다.
• 신경병리학 분야에서 모델은 레이블 없이도 뇌 조직 아형의 매끄럽고 계층적인 잠재 구조를 학습하여 악성 부위의 신뢰성 있는 탐지가 가능했다.
• 비지도 잠재 표현만을 사용하여 다중 클래스 AUC가 5개의 뇌 종양 아형 분류에서 0.97를 초과하여, 완전히 지도된 최고 성능 모델과 동일한 성능을 달성하였다.
• 잠재 공간 내 지오데식 보간은 현실적인 중간 조직 영상 샘플을 생성하였으며, 이는 타당한 생물학적 전이를 반영하였다. 반면 선형 보간은 흐릿하고 비자연스러운 혼합을 유도하였다.
• 비유클리드 공간에서 지오데식의 선형 근사는 특히 희박한 이상 점 간의 장거리 보간에서 교정 오차를 유발하였다.
• 포incare 매핑을 활용함으로써 정상 및 이상 조직 영역이 일관되고 해석 가능한 방식으로 조직화되어 임상적 해석 가능성과 의사결정 지원에 기여하였다.