[논문 리뷰] Re-parameterizing VAEs for stability

David Dehaene, Rémy Brossard|arXiv (Cornell University)|2021. 06. 25.

Generative Adversarial Networks and Image Synthesis참고 문헌 12인용 수 5

한 줄 요약

이 논문은 정규 분포의 비한계적 분산으로 인한 수치적 불안정성 문제를 해결함으로써 훈련을 안정화하는, 이론적으로 탄탄한 재매개변수화 기법을 제안한다. 표준 매개변수화 방식을 비한계적 또는 선형-지수적 변형으로 대체함으로써, 특히 인코딩 및 디코딩 분포에 적용함으로써 NaN 손실과 높은 기울기 문제를 제거하면서 성능에 손실을 입히지 않고 깊고 복잡한 VAE 아키텍처의 안정적 훈련을 가능하게 한다.

ABSTRACT

We propose a theoretical approach towards the training numerical stability of Variational AutoEncoders (VAE). Our work is motivated by recent studies empowering VAEs to reach state of the art generative results on complex image datasets. These very deep VAE architectures, as well as VAEs using more complex output distributions, highlight a tendency to haphazardly produce high training gradients as well as NaN losses. The empirical fixes proposed to train them despite their limitations are neither fully theoretically grounded nor generally sufficient in practice. Building on this, we localize the source of the problem at the interface between the model's neural networks and their output probabilistic distributions. We explain a common source of instability stemming from an incautious formulation of the encoded Normal distribution's variance, and apply the same approach on other, less obvious sources. We show that by implementing small changes to the way we parameterize the Normal distributions on which they rely, VAEs can securely be trained.

연구 동기 및 목표

• 깊은 VAE에서 지속적인 수치적 불안정성, 특히 훈련 중 높은 기울기와 NaN 손실 문제를 해결한다.
• 표준 VAE 매개변수화에서의 불안정성 원인을 규명하며, 특히 인코딩된 정규 분포의 분산에서 기인하는 요인을 특정한다.
• 기울기 클리핑이나 업데이트 스킵과 같은 경험적 수단이 아닌, 이론적으로 탄탄한 대안을 제공한다.
• 히ュ리스틱적 데이터 필터링이나 업데이트 스킵에 의존하지 않고 최신 VAE 아키텍처(예: 매우 깊은 VAE, VDVAE)의 안정적 훈련을 보장한다.
• 최소한의 아키텍처 수정과 성능 저하 없이 안정적 훈련이 가능함을 입증한다.

제안 방법

• 인코딩된 정규 분포에 대해 분산이 유한하게 유지되며 발산을 방지하는 UpBounded1 매개변수화를 도입한다.
• 디코딩된 분포에 대해 Bounded 매개변수화를 제안하여 분산이 입력 데이터 범위(예: 이미지 생성 시 픽셀 값) 내에 유지되도록 보장한다.
• 인코딩된 분산에 대해 ExpLin 매개변수화를 적용하여 신경망 출력을 선형적으로 변환함으로써 양수성과 안정성을 확보한다.
• 에코더 및 디코더의 표준 정규 분포 재매개변수화를 이 새로운 매개변수화로 대체하여 기울기 흐름의 안정성을 확보한다.
• 기본 비교를 위해 디코더 경로에서 분산을 일정값(예: 1.0)으로 고정하여 표현력과 안정성을 테스트하며, 성능에 제한을 주지 않음을 보여준다.
• CIFAR10에서 훈련된 매우 깊은 VAE(VDVAE)에서 이 방법을 검증하며, 기울기가 임계치를 초과할 경우 업데이트를 스킵하는 원본 구현과 비교한다.

실험 결과

연구 질문

• RQ1 현대 깊은 VAE에서 정규 분포의 분산 매개변수화로 인해 발생하는 수치적 불안정성(예: NaN 손실, 극단적 기울기)의 원인은 무엇인가?
• RQ2 경험적 히ュ리스틱이 아닌, 이론적으로 탄탄한 재매개변수화 기법을 통해 VAE 훈련의 불안정성을 해결할 수 있는가?
• RQ3 표준 분산 매개변수화를 비한계적 또는 선형-지수적 대체 방식으로 대체함으로써 훈련 안정성이 향상되고 성능 저하가 발생하지는 않는가?
• RQ4 높은 기울기로 인한 업데이트 스킵 없이도 VAE를 신뢰성 있게 훈련시킬 수 있는가? 이는 훈련 데이터의 전체 활용을 보장한다.
• RQ5 특히 향상된 에코더 매개변수화와 결합했을 때, 디코더의 분산을 일정값으로 고정해도 VAE의 표현력이 유지되는가?

주요 결과

• CIFAR10에서 VDVAE를 훈련하는 동안 인코딩된 분산에 대해 UpBounded1 매개변수화를 적용함으로써 모든 NaN 손실과 고기울기 이벤트가 제거되었으며, 스킵된 업데이트가 0으로 감소하였다.
• ExpLin 매개변수화 역시 안정적인 훈련을 가능하게 하였으며, 세 개의 랜덤 시드 동안 총 한 번의 고기울기 이벤트만 기록되었고, NaN은 발생하지 않았다.
• 디코더 분산을 일정값(1.0)으로 고정한 결과 성능 저하가 없었으며, ExpLin/Cst1의 테스트 NELBO 값은 2.006 ± 0.008로 원본 모델와 유사했다.
• UpBounded1를 적용한 수정된 VDVAE는 테스트 NELBO 값 2.020 ± 0.006을 기록하였으며, 원본 모델(2.014 ± 0.009)과 동일한 성능를 유지하면서도 완전히 안정적인 훈련을 보였다.
• UpBounded1 매개변수화를 사용한 일정 분산 기반 모델에서는 2,645건의 고기울기 이벤트가 발생하였으며, 이는 불안정성이 주로 에코더 분산에 기인함을 시사한다.
• 제안된 매개변수화 방식은 업데이트 스킵 히ュ리스틱을 제거하여 유용한 기울기 업데이트를 모두 활용할 수 있도록 허용한다.