[논문 리뷰] A Case for the Score: Identifying Image Anomalies using Variational Autoencoder Gradients

David Zimmerer, Jens Petersen외 2명|arXiv (Cornell University)|2019. 11. 28.

Anomaly Detection Techniques and Applications참고 문헌 21인용 수 20

한 줄 요약

이 논문은 재구성 오차 기반 방법보다 우수한 성능을 보이며, 변분 오토에인코더(Variational Autoencoder, VAE)의 증거 하한(lower bound, ELBO)의 기울기를 픽셀 수준의 영상 이상 탐지에 사용하는 점수 근사 방법을 제안한다. BraTS-2017 데이터셋에서 비지도 학습으로 종양 탐지 시 0.94의 ROC-AUC를 달성하여, VAE 기반 점수 추정이 재구성 오차만으로는 부족한 보다 신뢰도 있고 이론적으로 타당한 이상도 평가를 제공한다는 것을 입증한다.

ABSTRACT

Through training on unlabeled data, anomaly detection has the potential to impact computer-aided diagnosis by outlining suspicious regions. Previous work on deep-learning-based anomaly detection has primarily focused on the reconstruction error. We argue instead, that pixel-wise anomaly ratings derived from a Variational Autoencoder based score approximation yield a theoretically better grounded and more faithful estimate. In our experiments, Variational Autoencoder gradient-based rating outperforms other approaches on unsupervised pixel-wise tumor detection on the BraTS-2017 dataset with a ROC-AUC of 0.94.

연구 동기 및 목표

• 비지도 의료 영상 이상 탐지에서 재구성 오차의 한계를 해결하기 위해, 더 이론적으로 타당한 대안을 제안하기 위해.
• 입력에 대해 로그 밀도의 기울기로 정의된 점수, 즉 이상도 평가 지표로서의 성능이 더 뛰어나지 않는지 조사하기 위해.
• MRI 스캔에서 픽셀 수준의 종양 탐지에 대한 VAE 기반 점수 근사의 성능을 평가하기 위해.
• ELBO의 기울기에서 KL 발산과 재구성 손실 성분이 이상 탐지에 어떻게 기여하는지 분석하기 위해.

제안 방법

• 이 방법은 입력 영상에 대해 VAE의 증거 하한(ELBO)에 대한 기울기를 사용하여 점수를 근사한다.
• ELBO는 추론 및 사전 잠재 분포 간의 KL 발산 항과 재구성 로그우도의 기대값 항으로 분해된다.
• 다양한 가우시안 분포에 대해 재구성 기법과 몬테카를로 샘플링을 사용하여 백프로파게이션을 통해 ELBO의 기울기를 계산한다.
• 전치 합성곱에 의한 노이즈를 줄이고 기울기 추정을 안정화하기 위해 SmoothGrad를 적용한다.
• 전치 합성곱으로 인한 셰이커보드 아티팩트를 완화하기 위해 기울기에 대해 가우시안 스무딩을 적용한다.
• 픽셀 수준의 이상도 평가 지표를 사용하여 재구성 오차, 스무딩된 재구성 오차, 샘플링 분산과의 비교를 통해 평가한다.

실험 결과

연구 질문

• RQ1 VAE의 ELBO 기울기가 재구성 오차보다 더 정확하고 이론적으로 타당한 이상도 평가 지표로 기능할 수 있는가?
• RQ2 ELBO의 개별 성분인 재구성 손실과 KL 발산이 이상 탐지 성능에 어떻게 기여하는가?
• RQ3 KL 손실 기울기를 통합함으로써 재구성 오차 또는 재구성 기울기만을 사용하는 것보다 이상 탐지 성능이 향상되는가?
• RQ4 SmoothGrad와 가우시안 스무딩의 사용이 이상도 점수의 품질에 어떤 영향을 미치는가?

주요 결과

• VAE 기반 점수 근사, 즉 ELBO 기울기로 계산된 점수는 BraTS-2017 데이터셋에서 픽셀 수준의 ROC-AUC 0.94를 달성하여 이전 최고 성능 방법을 초월하였다.
• KL 손실 기울기 자체가 재구성 손실 기울기보다 더 우수한 성능을 보이며 전체 점수 성능에 크게 기여하였다.
• KL 손실 기울기와 재구성 손실 기울기의 조합은 KL 손실 기울기만 사용했을 때와 비교해 근소한 향상에 그쳤으며, 이는 KL 항이 이상 신호를 지배함을 시사한다.
• 재구성 오차와 스무딩된 재구성 오차는 유사한 성능을 보였으며, 스무딩으로 약간의 향상이 있었지만, 모두 ELBO 기울기보다 성능이 열 劣하였다.
• 몬테카를로 샘플 기반의 샘플링 분산은 스무딩된 재구성 오차와 유사한 성능을 보였지만, ELBO 기울기보다 열 劣하였다.
• 결과적으로, VAE 목표 함수의 KL 항이 분포의 이탈을 포착하는 데 핵심적인 역할을 하며, 이상 탐지에 강력한 신호로 기능한다는 점을 시사한다.