[논문 리뷰] Consistency Regularization for Variational Auto-Encoders

Samarth Sinha, Adji Bousso Dieng|arXiv (Cornell University)|2021. 05. 31.

Generative Adversarial Networks and Image Synthesis참고 문헌 1인용 수 11

한 줄 요약

이 논문은 변분 오토인코더(VAEs)에 일관성 정규화를 제안하여 입력 이미지와 그 의미를 유지하는 변환에 대해 유사한 잠재 표현을 강제한다. 이미지와 그 증강된 버전에 대해 인코더의 사후 분포 간의 KL 발산을 최소화함으로써, 다양한 VAE 변종과 데이터셋에서 표현 품질과 일반화 능력을 향상시키며, CR-VAE와 CR-NVAE를 사용해 MNIST, CIFAR-10, CelebA 및 3D 포인트 클라우드에서 최신 기준 성능을 달성한다.

ABSTRACT

Variational auto-encoders (VAEs) are a powerful approach to unsupervised learning. They enable scalable approximate posterior inference in latent-variable models using variational inference (VI). A VAE posits a variational family parameterized by a deep neural network called an encoder that takes data as input. This encoder is shared across all the observations, which amortizes the cost of inference. However the encoder of a VAE has the undesirable property that it maps a given observation and a semantics-preserving transformation of it to different latent representations. This "inconsistency" of the encoder lowers the quality of the learned representations, especially for downstream tasks, and also negatively affects generalization. In this paper, we propose a regularization method to enforce consistency in VAEs. The idea is to minimize the Kullback-Leibler (KL) divergence between the variational distribution when conditioning on the observation and the variational distribution when conditioning on a random semantic-preserving transformation of this observation. This regularization is applicable to any VAE. In our experiments we apply it to four different VAE variants on several benchmark datasets and found it always improves the quality of the learned representations but also leads to better generalization. In particular, when applied to the Nouveau Variational Auto-Encoder (NVAE), our regularization method yields state-of-the-art performance on MNIST and CIFAR-10. We also applied our method to 3D data and found it learns representations of superior quality as measured by accuracy on a downstream classification task.

연구 동기 및 목표

• 의미적으로 동일한 이미지(예: 회전 또는 이동된 것)가 잠재 공간의 서로 다른 영역으로 매핑되는 VAE 인코더의 일관성 문제를 해결하기 위해.
• 기본 아키텍처를 수정하지 않고도 학습된 표현의 품질과 일반화 능력을 향상시키기 위해.
• 모든 VAE 변종에 적용 가능한 정규화 방법을 개발하여 최종 작업 및 생성 모델링 성능을 향상시키기 위해.
• 표준 데이터셋, 특히 이미지 및 3D 포인트 클라우드 데이터에서 일관성 정규화된 VAE를 사용해 최신 기준 성능을 입증하기 위해.

제안 방법

• 입력 이미지와 그 의미를 유지하는 변환에 의해 유도된 변분 사후 분포 간의 KL 발산을 최소화하는 일관성 정규화 항을 도입한다.
• 표준 VAE 목표(ELBO)와 일관성 손실을 동시에 최적화하여 학습 중 정규화를 적용한다.
• 데이터 증강(예: 회전, 이동, 스케일링, 저자국)을 사용하여 의미적으로 동일한 이미지 및 포인트 클라우드 변환을 생성한다.
• 일관성 손실을 표준 VAE, IWAE, β-VAE, NVAE 등의 다양한 VAE 변종의 학습 목표에 통합함으로써 이들 변종에 적용한다.
• 백본으로 FoldingNet을 사용하여 3D 포인트 클라우드 데이터에 이 방법을 적용하고, 이를 VAE로 변환한 후 잠재 공간에 일관성 정규화를 추가한다.
• 잠재 변수의 몬테카를로 샘플링을 통해 일관성 손실을 계산하고, 확률적 경사 하강법을 사용해 모델을 엔드 투 엔드로 학습시킨다.

실험 결과

연구 질문

• RQ1 인코더의 잠재 표현에서 일관성을 강제하면 VAE에서 표현 품질이 향상되는가?
• RQ2 일관성 정규화는 다양한 VAE 아키텍처와 데이터셋에서 일반화 성능을 향상시키는가?
• RQ3 이 방법은 대조 학습 기반 방법인 트리플릿 손실보다 표현 학습에서 우수한 성능을 내는가?
• RQ4 일관성 정규화는 3D 포인트 클라우드 복원 및 분류 작업 성능을 향상시키는가?
• RQ5 이 방법은 MNIST, CIFAR-10, CelebA와 같은 표준 이미지 벤치마크에서 최신 기준 성능을 달성할 수 있는가?

주요 결과

• 일관성 정규화는 VAE, IWAE, β-VAE, NVAE의 네 가지 변종에서 MNIST, CIFAR-10, CelebA에서 일관되게 표현 품질과 일반화 능력을 향상시킨다.
• CR-NVAE는 MNIST와 CIFAR-10에서 기준 NVAE보다 최고 수준의 로그우도 성능을 달성한다.
• ShapeNet 3D 포인트 클라우드 데이터셋에서 CR-FoldingNet은 선형 SVM 분류 과제에서 84.6%의 정확도를 기록했으며, 기준 FoldingNet의 82.5%보다 높다.
• CR-FoldingNet의 복원 오차는 0.0327(Chamfer 거리)로, 기준 모델의 0.0355보다 감소하여 생성 품질 향상을 시사한다.
• CR-FoldingNet을 사용한 잠재 공간 내부의 보간은 객체 클래스 간에 매끄럽고 해석 가능한 전이를 생성하여 분리된 의미 있는 잠재 공간임을 보여준다.
• 이 방법은 3D 데이터에서 강력한 대조 학습 기반 방법인 트리플릿 손실보다 최종 분류 정확도에서 뛰어난 성능을 내었다.