[논문 리뷰] Cramer-Wold AutoEncoder

Szymon Knop, Jacek Tabor외 4명|arXiv (Cornell University)|2018. 05. 23.

Generative Adversarial Networks and Image Synthesis참고 문헌 26인용 수 17

한 줄 요약

이 논문은 샘플링 없이 사후분포와 사전분포 간의 거리를 계산하기 위해 새로운 폐형 Cramer-Wold 커널을 활용하는 생성 모델인 Cramer-Wold AutoEncoder (CWAE)를 소개한다. 분산의 해석적 계산을 가능하게 함으로써, WAE-MMD와 SWAE에 비해 더 빠른 훈련 속도와 향상된 성능을 달성하며, 특히 방사형 가우시안 커널 곱을 통한 효율적 최적화 덕분이다.

ABSTRACT

We propose a new generative model, Cramer-Wold Autoencoder (CWAE). Following WAE, we directly encourage normality of the latent space. Our paper uses also the recent idea from Sliced WAE (SWAE) model, which uses one-dimensional projections as a method of verifying closeness of two distributions. The crucial new ingredient is the introduction of a new (Cramer-Wold) metric in the space of densities, which replaces the Wasserstein metric used in SWAE. We show that the Cramer-Wold metric between Gaussian mixtures is given by a simple analytic formula, which results in the removal of sampling necessary to estimate the cost function in WAE and SWAE models. As a consequence, while drastically simplifying the optimization procedure, CWAE produces samples of a matching perceptual quality to other SOTA models.

연구 동기 및 목표

• 손실 계산에서 샘플링을 제거하여 더 효율적인 생성 오토인코더를 개발하기 위해.
• 분포 간의 폐형 거리 측도를 유도함으로써 잠재공간 정규화 최적화를 단순화하기 위해.
• SWAE(투영 기반 거리)와 WAE-MMD(특성 커널 기반 분산)의 장점을 하나의 모델에 통합하기 위해.
• MNIST, CIFAR-10, CelebA와 같은 표준 벤치마크에서 훈련 속도와 성능을 향상시키기 위해.
• 가우시안 믹스처에 대한 정규성에서의 분산에 대한 신뢰할 수 있고 분석적인 측도를 제공하기 위해.

제안 방법

• 방사형 가우시안 곱에 대해 폐형 표현을 가진 특성 커널인 Cramer-Wold 커널을 제안한다.
• Cramer-Wold 거리의 정의는 모든 일차원 선에 대한 스무딩 투영의 평균 제곱 L2 거리이다.
• WAE 프레임워크에 Cramer-Wold 커널을 통합하여 사전-사후 분포 간 분산을 해석적으로 계산하는 CWAE 모델을 구축한다.
• 사상성과 기하급수적 감쇠 문제를 피하기 위해, 사상성 보장 및 기타 커널에서 흔히 발생하는 문제를 방지하는 특성 커널을 채택한다.
• WAE-MMD가 U-통계량을 사용하는 것과 달리, 손실 함수의 로그 변환된 형태를 채택하여 훈련 안정성을 향상시킨다.
• Adam 최적화를 사용하여 피드포워드 및 컨volutional-deconvolutional 아키텍처를 활용해 이미지 생성 작업에 모델을 적용한다.

실험 결과

연구 질문

• RQ1 오토인코더에서 정규 사전분포에 대해 분포 간 폐형 거리 측도를 도출할 수 있는가? 이를 통해 손실 계산에서 샘플링을 제거할 수 있는가?
• RQ2 SWAE의 일차원 투영 방식과 WAE-MMD의 특성 커널 기반 방법을 조합하면 더 효율적이고 효과적인 생성 모델이 될 수 있는가?
• RQ3 Cramer-Wold 커널은 WAE 프레임워크에서 샘플 기반 MMD 추정기의 안정적이고 분석적인 대안을 제공할 수 있는가?
• RQ4 CWAE의 훈련 속도와 생성 품질은 표준 벤치마크에서 WAE-MMD 및 SWAE와 비교해 어떻게 되는가?
• RQ5 CWAE에서 사용된 로그 변환된 손실은 WAE-MMD가 사용하는 샘플 기반 U-통계량과 비교해 훈련 안정성을 향상시키는가?

주요 결과

• 배치 크기가 256 이하일 경우, CWAE는 배치당 훈련 시간을 2배로 단축시켜 WAE-MMD와 SWAE에 비해 최적화 효율성이 뛰어나다.
• MNIST, CIFAR-10, CelebA에서 FID 및 IS 점수 측정 기준으로 CWAE는 WAE-MMD 및 SWAE와 비교해 생성 품질을 유지하거나 향상시킨다.
• Cramer-Wold 커널은 사후분포와 사전분포 간의 분산을 정확하게 해석적으로 계산할 수 있게 하여 손실 함수에서 몬테카를로 샘플링이 필요 없어진다.
• 배치 크기가 1024를 초과할 경우, CWAE는 이차 복잡도로 인해 느려지지만, 실질적으로는 거의 사용되지 않는 배치 크기이므로 영향이 크지 않다.
• CWAE에서의 로그 변환된 손실은 WAE-MMD가 사용하는 샘플 기반 U-통계량과 달리 훈련 안정성을 향상시킨다.
• 실험에서 사용된 아키텍처는 이전 연구들(예: Tolstikhin 등, 2017)과 동일하여 성능 향상의 직접적 비교와 검증이 가능하다.