[논문 리뷰] Training VAEs Under Structured Residuals

Garoe Dorta, Sara Vicente외 3명|arXiv (Cornell University)|2018. 04. 03.

Industrial Vision Systems and Defect Detection참고 문헌 28인용 수 6

한 줄 요약

이 논문은 학습 가능한 공분산 행렬 예측 네트워크를 사용하여 구조화된 잔차 상관관계를 모델링하는 새로운 VAE 아키텍처를 제안한다. 이는 최소한의 파rameter 오 overhead 로 구조화된 불확실성을 가능도 함수에 통합함으로써, CelebA 및 LSUN Churches 데이터셋에서 기존의 인수 분해된 가우시안 VAE보다 더 현실적인 이미지 생성과 복원을 가능하게 한다.

ABSTRACT

Variational auto-encoders (VAEs) are a popular and powerful deep generative model. Previous works on VAEs have assumed a factorized likelihood model, whereby the output uncertainty of each pixel is assumed to be independent. This approximation is clearly limited as demonstrated by observing a residual image from a VAE reconstruction, which often possess a high level of structure. This paper demonstrates a novel scheme to incorporate a structured Gaussian likelihood prediction network within the VAE that allows the residual correlations to be modeled. Our novel architecture, with minimal increase in complexity, incorporates the covariance matrix prediction within the VAE. We also propose a new mechanism for allowing structured uncertainty on color images. Furthermore, we provide a scheme for effectively training this model, and include some suggestions for improving performance in terms of efficiency or modeling longer range correlations.

연구 동기 및 목표

• 인치 분해된 가우시안 가능도가 가정하는 독립적인 픽셀 단위의 불확실성으로 인해 잔차의 공간적 구조를 모델링하지 못하는 VAE의 한계를 해결하기 위해.
• 모델 복잡도를 크게 증가시키지 않고도 VAE에 구조화된 공분산 예측을 스케일러블하게 통합할 수 있는 방법을 개발하기 위해.
• 상관관계가 있는 가능도를 사용하는 VAE의 효과적인 훈련을 가능하게 하여 낮은 국소 최적점에 갇히는 것을 방지하고 고주파 이미지 세부 정보에서 성능을 향상시키기 위해.
• 색상 이미지에 대해 YCbCr 기반 접근법을 사용하여 구조화된 불확실성 모델링을 확장함으로써 더 나은 시각적 품질을 확보하기 위해.

제안 방법

• 잠재 코드로부터 전체 공분산 행렬을 예측하는 전용 하위망을 사용하여 구조화된 가우시안 가능도를 통합한 새로운 VAE 아키텍처를 제안한다.
• 추가 파rameter 수를 제한하기 위해 파라미터 효율적인 설계를 사용하여 전체 공분산 행렬의 $O(n_p^2)$ 비용을 피한다.
• 휘도와 색채를 분리하기 위해 YCbCr 색상 공간 변환을 적용하여 색상 이미지에 대한 구조화된 불확실성 모델링을 가능하게 한다.
• VAE가 잔차 오차를 모델링하기보다는 분산을 줄이도록 유도함으로써 최적화의 안정성을 높이는 훈련 전략을 도입한다.
• 확장된 컨볼루션과 희소성 패턴을 사용하여 [7]의 공분산 예측 기법을 개선하고 장거리 상관관계를 효율적으로 모델링한다.
• 생성 중에 구조화된 가우시안 가능도에서 샘플링하기 위해 재파rameterization 트릭을 적용하여 미분 가능한 훈련을 보장한다.

실험 결과

연구 질문

• RQ1 학습 가능한 공분산 행렬 예측 네트워크를 사용하여 VAE 복원에서의 구조화된 잔차 상관관계를 효과적으로 모델링할 수 있는가?
• RQ2 구조화된 불확실성을 통합함으로써 기존의 인수 분해된 가우시안 가능도에 비해 VAE의 가능도와 복원 품질이 향상되는가?
• RQ3 공분산 모델링의 복잡도가 증가함에도 불구하고 제안된 방법이 훈련 안정성을 유지하고 낮은 국소 최적점에 갇히지 않는가?
• RQ4 표준 VAE에 비해 고주파 이미지 세부 정보(예: 머리카락, 주름)에서 모델의 성능은 어떠한가?
• RQ5 시각적 품질과 계산 효율성을 유지하면서 이 방법을 색상 이미지로 확장할 수 있는가?

주요 결과

• 제안된 구조화된 잔차를 가진 VAE는 LSUN Churches 데이터셋에서 $-6918 \pm 2423$의 음의 로그 가능도(NLL)를 달성하여 대각형 및 구형 가능도를 가진 VAE보다 유의미하게 뛰어나다.
• CelebA 데이터셋에서 모델은 더 선명한 복원과 고주파 세부 정보(주름, 머리카락 등)를 포함한 샘플을 생성하며, 기준선 VAE에서는 흐릿하거나 누락된 요소들이 잘 표현된다.
• LSUN에서 복원 MSE는 $614 \pm 286$로, 유사한 KL 발산을 가진 대각형 VAE($728 \pm 327$)와 $\beta$-VAE($800 \pm 354$)를 모두 능가한다.
• 제안된 모델의 샘플은 더 나은 시각적 품질을 보이며, 표준 VAE가 생성하는 과도하게 부드러운 출력과는 달리 더 잘 구조화된 노이즈를 반영하여 미세한 질감을 잘 포착한다.
• 복잡한 장면(예: 교회 내부)에서도 훈련 안정성이 떨어지지 않으며, 복잡한 공간적 상관관계를 가진 잔차를 성공적으로 모델링한다.
• 확장된 컨볼루션과 공분산 예측 네트워크 내 희소성 패턴을 통해 장거리 상관관계를 효과적으로 모델링할 수 있다.