[논문 리뷰] Context-encoding Variational Autoencoder for Unsupervised Anomaly Detection

David Zimmerer, Simon Köhl외 3명|arXiv (Cornell University)|2018. 12. 14.

Anomaly Detection Techniques and Applications참고 문헌 25인용 수 82

한 줄 요약

본 논문은 Context Encoders와 Variational Autoencoders를 결합한 ceVAE를 제안하여 의료 영상의 비지도 이상 탐지를 수행하고, 샘플- 및 픽셀 단위의 이상 localization을 개선하며 BraTS-2017 및 ISLES-2015 데이터셋에서 비지도 ROC-AUC 성능을 최첨단으로 달성한다.

ABSTRACT

Unsupervised learning can leverage large-scale data sources without the need for annotations. In this context, deep learning-based auto encoders have shown great potential in detecting anomalies in medical images. However, state-of-the-art anomaly scores are still based on the reconstruction error, which lacks in two essential parts: it ignores the model-internal representation employed for reconstruction, and it lacks formal assertions and comparability between samples. We address these shortcomings by proposing the Context-encoding Variational Autoencoder (ceVAE) which combines reconstruction- with density-based anomaly scoring. This improves the sample- as well as pixel-wise results. In our experiments on the BraTS-2017 and ISLES-2015 segmentation benchmarks, the ceVAE achieves unsupervised ROC-AUCs of 0.95 and 0.89, respectively, thus outperforming state-of-the-art methods by a considerable margin.

연구 동기 및 목표

• 의료 영상에서 주석 부족과 샘플 및 픽셀 수준의 localization 필요성으로 인해 비지도 이상 탐지의 동기를 제시한다.
• 재구성 오차와 함께 모델 내부 잠재 편차를 반영하여 이상 점수를 개선한다.
• 형식적이고 비교 가능한 점수로 픽셀 단위 이상 localization 메커니즘을 제공한다.
• 공개 벤치마크 BraTS-2017 및 ISLES-2015에서 최첨단의 비지도 세분화 성능을 입증한다.

제안 방법

• Context Encoder(CE)와 Variational Autoencoder(VAE)의 가중치를 공유하는 방식으로 ceVAE를 도입한다.
• CE 분기: 입력 영역을 마스킹하고 CE 목적어로 뒤섞인 입력을 재구성하여 강건하고 의미론적으로 의미 있는 표현을 얻는 컨텍스트 인코딩 노이즈를 적용한다.
• VAE 분기: 표준 VAE를 사용하고 잠재 사전 p(z)와 KL-발산 L_KL, 재구성 손실 L_rec_VAE를 통해 샘플별 가능도 추정치를 얻는다.
• CE와 VAE를 결합하여 공동 목적 함수 L_ceVAE = L_KL + L_rec_VAE + L_rec_CE를 구성하여 잠재 편차와 보정된 재구성 오차를 모두 포착한다.
• 이상 점수: 샘플 단위 이상 점수를 log p(x) ≈ L_KL + L_rec_VAE로 계산; 픽셀 단위 점수는 재구성 오차와 ELBO의 기울기로부터 역전파된 입력에 의해 도출된 미분 값을 융합하여 계산한다 (KL 항의 역전파를 통해).
• 참고되는 핵심 방정식: (2) ELBO, (4) 표준 VAE 손실, (5) L_VAE, (6) L_ceVAE, (7) 샘플 단위 로그 확률, (8) 픽셀 단위 이상 점수

실험 결과

연구 질문

• RQ1 ceVAE가 의료 영상의 비지도 이상 탐지에서 재구성 기반 AE와 일반 VAEs보다 향상될 수 있는가?
• RQ2 CE와 VAE를 결합하면 어느 한 구성요소만 사용할 때보다 픽셀 단위 로컬라이제이션과 샘플 단위 점수가 더 나은가?
• RQ3 후조건에서 사전으로의 KL-발산을 통합하는 것이 픽셀 수준에서 이상 영역을 outline하는 데 어떻게 도움이 되는가?
• RQ4 제안된 점수들이 공개 벤치마크에서 비지도 이상 탐지를 위해 샘플 간에 보정되고 비교 가능하는가?

주요 결과

• ceVAE가 BraTS-2017 및 ISLES-2015에서 픽셀 단위 이상 탐지 및 샘플 단위 ROC-AUC에서 OC-SVM 및 다양한 AE 기반 기준선보다 우수하다.
• 재구성 오차와 KL-발산 기울기의 픽셀 단위 융합은 데이터셋 전반에서 우수한 세분화 성능을 보인다.
• CE를 VAE와 결합하면 규제 효과가 있어 포스트eri선을 방지하고 더 구별 가능한 잠재 표현을 얻는다.
• 본 방법은 비지도 ROC-AUC가 0.95(BraTS-2017) 및 0.89(ISLES-2015)이다.
• CE 만으로 재구성 기반 메트릭에서 우수하고, VAE 만으로는 그래디언트 기반 메트릭에서 우수하며, 둘의 조합(ceVAE)이 일관되게 최상의 결과를 낳는다.