[논문 리뷰] Variational auto-encoders with Student's t-prior

Najmeh Abiri, Mattias Ohlsson|arXiv (Cornell University)|2020. 04. 06.

Generative Adversarial Networks and Image Synthesis인용 수 7

한 줄 요약

이 논문은 다변량 스튜던트의 t-사전분포를 사용하여 강건성과 이미지 복원 품질을 향상시킨 변분 오토인코더(VAE)를 제안한다. 스튜던트의 t-분포의 모수를 미분 가능한 재매개변수화를 통해 학습함으로써, 특히 데이터 손상 또는 누락 값이 있는 상황에서 표준 VAE와 비교해 더 선명하고 세밀한 복원 결과를 달성한다. Fashion-MNIST 데이터셋에서 더 높은 SSIM 점수로 검증되었다.

ABSTRACT

We propose a new structure for the variational auto-encoders (VAEs) prior, with the weakly informative multivariate Student's t-distribution. In the proposed model all distribution parameters are trained, thereby allowing for a more robust approximation of the underlying data distribution. We used Fashion-MNIST data in two experiments to compare the proposed VAEs with the standard Gaussian priors. Both experiments showed a better reconstruction of the images with VAEs using Student's t-prior distribution.

연구 동기 및 목표

• 표준 가우시안 사전분포를 다변량 스튜던트의 t-분포로 대체하여 변분 오토인코더의 강건성과 생성 품질을 향상시키는 것.
• 암묵적 재매개변수화를 사용해 위치, 척도, 자유도 모수를 통해 스튜던트의 t-사전분포의 미분 가능한 엔드 투 엔드 학습을 가능하게 하는 것.
• 높은 손상 수준에서 이미지 복원 및 누락 데이터 보정 성능을 평가하는 것.
• 탄탄한 꼬리가 두꺼운 사전분포가 가우시안 사전분포보다 더 나은 일반화 및 더 선명한 복원 결과를 이끌어내는지 입증하는 것.

제안 방법

• VAE는 잠재변수에 대해 다변량 스튜던트의 t-분포를 사전분포로 사용하며, 이 분포의 모수(위치 μ, 척도 σ, 자유도 ν)는 인코더 네트워크에 의해 예측된다.
• 스튜던트의 t-분포는 척도 혼합 표현을 통해 재매개변수화된다: z = μ + σ * x / sqrt(χ²/ν), 여기서 x ~ N(0, I) 이고 χ² ~ Gamma(ν/2, 0.5).
• 자유도 모수 ν를 통해 기울기 역전파를 수행하기 위해 감마 분포의 누적분포함수(CDF)의 암묵적 미분을 사용한다. 이를 통해 엔드 투 엔드 학습이 가능해진다.
• 다이감마 함수를 사용한 해석적 방법과 수치적 적분을 통해 정규화 상수의 로그를 계산함으로써, 변분 사후분포와 스튜던트의 t-사전분포 간의 KL 발산을 계산한다.
• 재구성 손실로 교차 엔트로피 손실을 사용하고, 유도된 KL 발산을 정규화 항으로 사용하여 확률적 경사하강법으로 모델을 학습한다.
• 초기화 파라미터는 검증 세트 선택을 통해 튜닝되며, 성능 평가는 테스트 데이터에서 SSIM 지수를 사용하여 평가된다.

실험 결과

연구 질문

• RQ1 스튜던트의 t-사전분포는 표준 가우시안 사전분포보다 VAE에서 이미지 복원 품질을 향상시킬 수 있는가?
• RQ2 스튜던트의 t-분포의 적응형 꼬리 두께는 VAE에서 이상치 및 누락 데이터에 대한 강건성을 향상시키는가?
• RQ3 암묵적 재매개변수화를 사용해 가우시안 사전분포가 아닌 학습 가능한 스튜던트의 t-사전분포를 갖는 VAE의 엔드 투 엔드 학습이 가능한가?
• RQ4 손상된 Fashion-MNIST 데이터에서 스튜던트의 t-사전분포를 갖는 VAE는 가우시안 사전분포 VAE보다 SSIM 측정치에서 더 나은 성능을 보이는가?

주요 결과

• 78% 픽셀 손상이 있는 Fashion-MNIST에서 스튜던트의 t-사전분포를 사용한 VAE(이하 VAE-St)는 평균 SSIM 0.831을 기록했으며, 이는 가우시안 사전분포 VAE(이하 VAE-G)의 0.678보다 유의미하게 높았다.
• 시각적 평가 결과, 특히 고수준의 손상 상황에서 VAE-St는 VAE-G보다 더 선명하고 세밀한 복원 결과를 생성했으며, 흐림 현상이 덜했다.
• 완전한 Fashion-MNIST 데이터셋에서 VAE-St는 VAE-G보다 더 높은 품질의 복원 결과를 생성했으며, 이는 향상된 SSIM 점수와 함께 시각적 정밀도로도 확인되었다.
• 스튜던트의 t-사전분포 VAE의 학습 비용은 가우시안 모델과 비교해 약간 높을 뿐이며, GPU 추론 시간에 거의 영향을 주지 않았다.
• 자유도 모수를 학습함으로써 꼬리 두께를 적응적으로 조절할 수 있었으며, 이는 이상치 및 누락 데이터에 대한 강건성을 향상시켰다.