[논문 리뷰] Anomaly Detection for imbalanced datasets with Deep Generative Models

Nazly Rocio Santos Buitrago, Loek Tonnaer외 2명|arXiv (Cornell University)|2018. 11. 02.

Generative Adversarial Networks and Image Synthesis참고 문헌 14인용 수 6

한 줄 요약

이 논문은 고도로 불균형한 데이터셋, 특히 의료 영상에서의 이상 탐지 프레임워크를 제안한다. VAE와 GAN을 활용한 딥 생성 모델을 사용하며, 정상(음성) 샘플만으로 모델을 훈련한 후, 낮은 가능도 점수를 통해 이상(예: 폐 결절)을 탐지한다. 결과적으로 MNIST에서는 VAE가 AUROC 0.84를 기록했지만, NLST 폐 CT 데이터에서는 0.62에 그쳤고, GAN은 저조한 성능(auROC 0.58)을 보이며 현재의 생성 모델이 복잡한 의료 영상 분포를 다루는 데 어려움을 겪고 있음을 시사한다.

ABSTRACT

Many important data analysis applications present with severely imbalanced datasets with respect to the target variable. A typical example is medical image analysis, where positive samples are scarce, while performance is commonly estimated against the correct detection of these positive examples. We approach this challenge by formulating the problem as anomaly detection with generative models. We train a generative model without supervision on the `negative' (common) datapoints and use this model to estimate the likelihood of unseen data. A successful model allows us to detect the `positive' case as low likelihood datapoints. In this position paper, we present the use of state-of-the-art deep generative models (GAN and VAE) for the estimation of a likelihood of the data. Our results show that on the one hand both GANs and VAEs are able to separate the `positive' and `negative' samples in the MNIST case. On the other hand, for the NLST case, neither GANs nor VAEs were able to capture the complexity of the data and discriminate anomalies at the level that this task requires. These results show that even though there are a number of successes presented in the literature for using generative models in similar applications, there remain further challenges for broad successful implementation.

연구 동기 및 목표

• 정상 케이스가 이상 케이스보다 훨씬 많은 의료 영상과 같은 고도로 불균형한 데이터셋에서 이상 탐지 문제를 해결한다.
• 훈련 중에 레이블이 부여된 이상 샘플이 필요 없이 딥 생성 모델이 정상 데이터의 분포를 효과적으로 학습하여 희귀한 이상 케이스를 탐지할 수 있는지 조사한다.
• 두 가지 다른 데이터셋인 MNIST(MNIST에서 숫자 9를 이상으로 간주)와 NLST(CT 스캔에서의 폐 결절)에서 최신 생성 모델인 VAE와 GAN의 성능을 평가한다.
• 제한된 데이터로 이루어진 실제 임상 환경에서 딥 생성 모델을 활용한 가능도 기반 이상 탐지 기법의 견고성과 일반화 능력을 평가한다.
• 현재 생성 모델이 고차원적이고 복잡한 의료 영상 분포를 충분히 포괄하여 신뢰할 수 있는 이상 탐지 기능을 수행하는 데에 어떤 한계를 지닌다

제안 방법

• 정상(음성) 샘플만을 사용하여 VAE와 GAN을 비지도 학습 방식으로 훈련하여 데이터의 기저 분포를 학습한다.
• 모델 파라미터를 최적화하기 위해 최대가능도추정(MLE)을 사용하며, 음의 로그 가능도를 최소화한다: $ E(w) = -\sum_i \log p[x_i|f(x_i;w)] $.
• 테스트 샘플의 가능도 점수를 계산한다: 낮은 가능도 점수는 잠재적인 이상을 나타낸다.
• 가능도 점수를 기반으로 임계값 기반 분류를 적용하여 정상 및 이상 샘플을 구분한다.
• ROC 곡선과 AUROC 점수를 사용하여 MNIST 및 NLST 데이터셋에서의 모델 성능을 평가한다.
• NLST의 경우, 부피형 CT 결절 데이터를 처리하기 위해 VAE와 GAN 양쪽 모두에 3D 컨볼루션 아키텍처를 적용한다.

실험 결과

연구 질문

• RQ1 VAE와 GAN은 불균형 데이터셋에서 정상 데이터의 분포를 효과적으로 학습하여 가능도 추정을 통해 이상을 탐지할 수 있는가?
• RQ2 표준 벤치마크(MNIST)와 복잡한 실제 의료 데이터셋(NLST CT 결절)에서 VAE와 GAN의 성능는 어떻게 비교되는가?
• RQ3 현재 딥 생성 모델이 3D 의료 영상 데이터의 복잡성을 얼마나 잘 포괄하는가? 특히 양성과 악성 폐 결절을 구분하는 데에 얼마나 효과적인가?
• RQ4 NLST 데이터셋에서 훈련 샘플 수를 늘리면 VAE와 GAN의 이상 탐지 성능이 향상되는가?
• RQ5 VAE와 GAN의 가능도 점수는 조기 폐암 검출을 위한 임상 의사결정 지원에 충분히 신뢰할 수 있는가?

주요 결과

• MNIST 데이터셋에서 VAE 기반 이상 탐지 기법은 AUROC 0.84를 기록하여 정상 및 이상 샘플 간의 강한 분리 성능을 보였다.
• MNIST에서 GAN 기반 접근법은 AUROC 0.66을 기록하여 성능이 제한적이며 하이퍼파ram터와 훈련 샘플 크기에 매우 민감함을 보였다.
• NLST 3D 폐 CT 데이터셋에서 GAN 기반 모델은 AUROC 0.58을 기록하여 무작위 추측보다 약간 높은 성능을 보였다.
• NLST에서 VAE 기반 모델은 AUROC 0.62를 기록하여 랜덤보다는 나은 성능를 보였지만 여전히 임상적 사용에는 부적합함을 시사했다.
• NLST에서 두 모델 모두 정상 및 이상 샘플 간의 가능도 분포가 중첩되어 고차원 의료 영상 공간에서의 분리 능력이 열악함을 보였다.
• 실험 결과에 따르면 훈련 데이터를 늘리면 성능 향상이 가능할 수 있으나, 현재의 모델들은 여전히 CT 영상에서 악성 결절을 신뢰성 있게 탐지하는 데에 부적합하다고 판단된다.