[논문 리뷰] Addressing Variance Shrinkage in Variational Autoencoders using Quantile Regression

Haleh Akrami, Anand A. Joshi외 2명|arXiv (Cornell University)|2020. 10. 18.

Generative Adversarial Networks and Image Synthesis참고 문헌 31인용 수 5

한 줄 요약

이 논문은 평균과 분산을 동시에 최적화할 때 발생하는 분산 수축 문제를 해결하기 위해 분위수 회귀를 사용하는 QR-VAE를 제안한다. 이는 가우시안 가정 하에 분포의 하한과 상한을 나타내는 두 개의 분위수(예: 0.025 및 0.975)를 추정하여 평균과 표준편차를 유도함으로써, 기존 VAE에서 흔히 발생하는 분산 수축 문제를 완화한다. 이 방법은 통계적으로 타당한 불확실성 인식 기반 이상 탐지 기능을 제공하며, 표준 VAE 및 Comb-VAE보다 성능이 향상되어 뇌 병변 탐지에서 FDR 보정 기준을 적용한 결과 AUC가 0.94를 기록한다.

ABSTRACT

Estimation of uncertainty in deep learning models is of vital importance, especially in medical imaging, where reliance on inference without taking into account uncertainty could lead to misdiagnosis. Recently, the probabilistic Variational AutoEncoder (VAE) has become a popular model for anomaly detection in applications such as lesion detection in medical images. The VAE is a generative graphical model that is used to learn the data distribution from samples and then generate new samples from this distribution. By training on normal samples, the VAE can be used to detect inputs that deviate from this learned distribution. The VAE models the output as a conditionally independent Gaussian characterized by means and variances for each output dimension. VAEs can therefore use reconstruction probability instead of reconstruction error for anomaly detection. Unfortunately, joint optimization of both mean and variance in the VAE leads to the well-known problem of shrinkage or underestimation of variance. We describe an alternative approach that avoids this variance shrinkage problem by using quantile regression. Using estimated quantiles to compute mean and variance under the Gaussian assumption, we compute reconstruction probability as a principled approach to outlier or anomaly detection. Results on simulated and Fashion MNIST data demonstrate the effectiveness of our approach. We also show how our approach can be used for principled heterogeneous thresholding for lesion detection in brain images.

연구 동기 및 목표

• VAE에서 평균과 분산을 동시에 최적화할 때 분산을 과소평가하는 것으로 알려진 분산 수축 문제를 해결하기 위해.
• 재구성 오차가 아닌 재구성 확률을 사용하여 통계적으로 타당한 불확실성 인식 기반 이상 탐지 방법을 개발하기 위해.
• 라벨이 없는 검증 데이터가 필요 없이 의료 영상에서 이질적인 임계값 설정을 통해 병변 탐지에 대한 비지도 학습을 가능하게 하기 위해.
• 우도 최대화로 인한 불안정성과 과적합을 피하기 위해 분위수 회귀를 사용하여 VAE의 분산 추정을 향상시키기 위해.
• QR-VAE가 합성 데이터, Fashion-MNIST 및 ISLES 뇌 영상 데이터 세트에서 표준 VAE 및 Comb-VAE보다 이상 탐지 성능이 뛰어나다는 것을 입증하기 위해.

제안 방법

• 예를 들어 Q₀.₀₂₅와 Q₀.₉₇₅와 같은 두 개의 분위수를 분위수 회귀를 통해 추정하여 예측 분포의 하한과 상한을 나타내기 위해.
• 유도된 분위수를 가우시안 가정을 기반으로 출력 분포의 평균과 표준편차로 변환하기 위해.
• 유도된 평균과 분산을 사용하여 재구성 확률을 계산함으로써 통계적으로 타당한 이상 탐지가 가능하게 하기 위해.
• 픽셀 수준의 임계값 설정에서 다중 비교 문제를 제어하기 위해 z-값에서 유도된 p-값에 False Discovery Rate (FDR) 보정을 적용하기 위해.
• 결과적으로 FDR 보정된 p-값을 사용하여 이상 탐지에 대한 임계값을 설정함으로써 검증 데이터에 의존하지 않기 위해.
• QR-VAE를 엔드 투 엔드로 훈련하여 기존 VAE의 표준 분산 헤드를 대체할 수 있도록 분위수를 직접 예측하기 위해.

실험 결과

연구 질문

• RQ1 분위수 회귀를 사용하여 VAE의 분산 추정을 향상시키고 분산 수축 문제를 완화시킬 수 있는가?
• RQ2 QR-VAE 접근법이 표준 VAE보다 재구성 확률의 정확성과 신뢰성 측면에서 이상 탐지에 더 나은 성능을 보이는가?
• RQ3 QR-VAE가 라벨이 없는 검증 데이터가 필요 없이 뇌 MRI에서 병변 탐지에 대해 비지도 학습 기반의 통계적으로 타당한 임계값 설정을 가능하게 하는가?
• RQ4 QR-VAE는 Comb-VAE와 같은 대안적 방법에 비해 이상 탐지 성능과 구현 복잡성 측면에서 어떻게 비교되는가?
• RQ5 FDR 보정이 고차원 의료 영상에서 픽셀 수준의 이상 탐지 신뢰성에 얼마나 기여하는가?

주요 결과

• QR-VAE는 ISLES 뇌 병변 탐지 데이터셋에서 AUC 0.94를 기록하여 표준 VAE의 AUC 0.56보다 유의미하게 뛰어난 성능을 보였다.
• VAE는 뇌의 대부분 영역에서 분산을 과소평가하여 FDR 보정 후에도 광범위하게 유의미한 p-값을 기록했으며, 이는 높은 위양성 비율로 이어졌다.
• QR-VAE는 전문가가 수작업으로 세그먼테이션한 진단 결과와 매우 유사한 병변 탐지 결과를 도출하여 공간 정확도가 향상됨을 입증했다.
• QR-VAE에서 유도된 FDR 보정된 p-값을 사용함으로써 라벨이 없는 검증 데이터 없이도 5%의 위양성 비율을 달성할 수 있었다.
• QR-VAE는 Comb-VAE보다 더 간단하게 구현할 수 있었으며, 모든 테스트 데이터 세트에서 뛰어난 성능을 기록했다.
• 이 방법은 예측 분위수를 직접 모델링하고 확률적 재구성 점수를 도출함으로써 통계적으로 타당한 불확실성 인식 기반 이상 탐지가 가능하게 한다.