[논문 리뷰] Robust Variational Autoencoder

Haleh Akrami, Anand A. Joshi외 3명|arXiv (Cornell University)|2019. 05. 23.

Generative Adversarial Networks and Image Synthesis참고 문헌 37인용 수 15

한 줄 요약

이 논문은 표준 Kullback-Leibler 발산 대신 β-발산을 사용하여 훈련 데이터의 이방성에 대해 더 강건한 Robust Variational Autoencoder (RVAE)를 제안한다. 변분 추론 목표 함수에서 KL 발산을 β-발산으로 대체함으로써, 계산 복잡도는 그대로 유지하면서도 이방성 인코딩을 효과적으로 억제함으로써 신뢰할 수 있는 표현 학습과 영상 데이터, 특히 의료용 뇌 MRI에서의 이상 탐지 성능을 향상시킨다.

ABSTRACT

Machine learning methods often need a large amount of labeled training data. Since the training data is assumed to be the ground truth, outliers can severely degrade learned representations and performance of trained models. Here we apply concepts from robust statistics to derive a novel variational autoencoder that is robust to outliers in the training data. Variational autoencoders (VAEs) extract a lower-dimensional encoded feature representation from which we can generate new data samples. Robustness of autoencoders to outliers is critical for generating a reliable representation of particular data types in the encoded space when using corrupted training data. Our robust VAE is based on beta-divergence rather than the standard Kullback-Leibler (KL) divergence. Our proposed lower bound lead to a RVAE model that has the same computational complexity as the VAE and contains a single tuning parameter to control the degree of robustness. We demonstrate the performance of our $β$-divergence based autoencoder for a range of image datasets, showing improved robustness to outliers both qualitatively and quantitatively. We also illustrate the use of our robust VAE for outlier detection.

연구 동기 및 목표

• 훈련 데이터의 이방성이 변분 오토인코더 성능에 악영향을 미치는 문제를 해결하기 위해.
• 청결한 데이터나 복잡한 아키텍처 수정 없이도 손상되거나 잘못 레이블링된 데이터에 대해 강건한 확률적 생성 모델을 개발하기 위해.
• 이방성이 잠재 공간에 인코딩되지 않도록 보장함으로써 이방성 탐지를 효과적으로 가능하게 하기 위해.
• 모델의 강건성 정도를 제어할 수 있는 단일의 조정 가능한 하이퍼파rameter(β)를 제공하기 위해.
• 모델이 벤치마크 영상 데이터셋과 시뮬레이션 및 실제 병변을 포함한 실제 의료 영상 데이터에서 효과적으로 작동함을 입증하기 위해.

제안 방법

• 변분 오토인코더 목표 함수에서 표준 Kullback-Leibler(KL) 발산을 강건 통계학에서 유래한 강건한 통계 발산인 β-발산으로 대체한다.
• β-발산을 사용하여 기댓값 하한(lower bound)의 하한을 유도함으로써, 이방성의 영향을 줄이는 새로운 목표 함수를 도출한다.
• 이중 및 정규 분포 모델에 모두 β-발산 프레임워크를 적용하여 이진 및 연속 영상 데이터 모두에 활용 가능하게 한다.
• 유사한 계산 복잡도를 유지하면서도, 결과 목표 함수를 최적화하기 위해 확률적 경사 하강법을 사용한다.
• 원하는 다양성과 현실성의 균형을 확보하기 위해 생성 및 재구성된 샘플을 시각적으로 점검함으로써 최적의 β 값을 선택하는 시각 기반 방법을 도입한다.
• 노말 뇌 MRI 데이터를 기반으로 훈련하고 시뮬레이션 및 실제 병변에서의 성능을 평가함으로써 의료 영상에 대한 프레임워크의 확장을 수행한다.

실험 결과

연구 질문

• RQ1 VAE 목표 함수에서 KL 발산을 β-발산으로 대체하면 훈련 데이터의 이방성에 대해 강건성이 향상되는가?
• RQ2 β 하이퍼파rameter의 선택이 정상 샘플 재구성 능력과 이방성의 잠재 공간 인코딩 방지 능력에 어떤 영향을 미치는가?
• RQ3 훈련 세트에 이방성이 존재하는 경우에도, 큰 재구성 오차를 식별함으로써 제안된 RVAE가 테스트 이미지의 이상을 탐지할 수 있는가?
• RQ4 실제 의료 영상 데이터에서 재구성 품질과 이상 탐지 AUC 측면에서 RVAE가 표준 VAE보다 성능이 뛰어나게 되는가?
• RQ5 생성 및 재구성된 샘플의 시각적 점검을 통해 β-발산 기반 접근법을 효과적으로 조정하여 강건성과 생성 다양성 사이의 최적 균형을 달성할 수 있는가?

주요 결과

• RVAE는 시뮬레이션된 이방성이 포함된 뇌 MRI 데이터에서 병변 탐지에 대해 AUC 0.85를 달성했으며, 이는 표준 VAE의 0.20에 비해 강력한 정량적 우수성을 보여준다.
• β = 0.0007일 때, 이방성의 재구성 이미지와 잠재 공간에서 생성된 샘플 간의 시각적 차이가 사라져, 이방성이 정상 데이터의 다양성 다각형에 투영된 것으로 나타났다.
• 10%의 이방성이 포함된 Fashion-MNIST 데이터셋에서, β = 0.0007일 때 재구성 품질과 생성 다양성 측면에서 최적의 성능을 달성했으며, 재구성 유사도의 히트맵 분석을 통해 이를 확인했다.
• RVAE는 시뮬레이션 및 실제 병변 둘 다의 재구성을 효과적으로 억제하여 재구성 오차를 통한 명확한 이상 탐지를 가능하게 했고, 반면 표준 VAE는 병변을 현실적인 정상 샘플로 재구성했다.
• 표준 VAE와 동일한 계산 복잡도를 유지하면서도 단 하나의 조정 가능한 하이퍼파rameter(β)만 추가함으로써 실생활 적용에 매우 실용적이다.
• 생성 및 재구성된 샘플의 시각적 점검이 최적의 β 값을 식별하는 데 효과적이었으며, 향후 작업에서 적대적 훈련과 결합할 수 있는 실용적인 자동화되지 않은 하이퍼파rameter 선택 방법을 제안한다.