[논문 리뷰] A Batch Normalized Inference Network Keeps the KL Vanishing Away

Qile Zhu, Jianlin Su외 5명|arXiv (Cornell University)|2020. 04. 27.

Generative Adversarial Networks and Image Synthesis참고 문헌 35인용 수 4

한 줄 요약

이 논문은 배치 정규화된 VAE(BN-VAE)를 제안한다. 이는 자동귀납적 디코더를 가진 VAE에서 사후분포 붕괴를 방지하기 위한 단순하면서도 효과적인 방법으로, Kullback-Leibler(KL) 발산이 데이터셋 전반에 걸쳐 분포를 이루도록 하고, 양의 기대값을 유지함으로써 이루어진다. BN-VAE는 근사 사후분포의 파라미터를 배치 정규화함으로써 기대 KL 발산에 하한을 부여하며, 목적함수를 수정하거나 새로운 구성 요소를 추가하지 않아도 된다. 이는 언어 모델링, 텍스트 분류, 대화 생성 등 다양한 작업에서 강력한 기준 모델들을 능가하면서도 학습 효율성을 유지한다.

ABSTRACT

Variational Autoencoder (VAE) is widely used as a generative model to approximate a model's posterior on latent variables by combining the amortized variational inference and deep neural networks. However, when paired with strong autoregressive decoders, VAE often converges to a degenerated local optimum known as "posterior collapse". Previous approaches consider the Kullback Leibler divergence (KL) individual for each datapoint. We propose to let the KL follow a distribution across the whole dataset, and analyze that it is sufficient to prevent posterior collapse by keeping the expectation of the KL's distribution positive. Then we propose Batch Normalized-VAE (BN-VAE), a simple but effective approach to set a lower bound of the expectation by regularizing the distribution of the approximate posterior's parameters. Without introducing any new model component or modifying the objective, our approach can avoid the posterior collapse effectively and efficiently. We further show that the proposed BN-VAE can be extended to conditional VAE (CVAE). Empirically, our approach surpasses strong autoregressive baselines on language modeling, text classification and dialogue generation, and rivals more complex approaches while keeping almost the same training time as VAE.

연구 동기 및 목표

• 강력한 자동귀납적 디코더를 가진 VAE에서 사후분포 붕괴 문제를 해결하기 위해, 이로 인해 KL 발산이 사라지는 현상이 발생하지 않도록 하는 것.
• 데이터셋 전반에 걸쳐 KL 발산의 기대값을 양수로 유지함으로써 열악한 해를 방지하는 방법을 개발하는 것.
• 고정된 KL 값이나 추가 학습 루프의 한계를 피하면서도 높은 학습 효율성을 확보하는 것.
• 대화 생성 및 기타 조건부 생성 작업을 위한 조건부 VAE(CVAE)로 이 방법을 확장하는 것.
• VAE 목적함수를 수정하지 않고도 KL 발산의 분포적 시각이 사후분포 붕괴를 방지하는 데 충분하다는 것을 보여주는 것.

제안 방법

• 각 데이터 포인트가 아니라 데이터셋 전반에 걸쳐 KL 발산을 분포로 모델링하는 것.
• 근사 사후분포의 출력층 파라미터에 배치 정규화를 적용함으로써 사후분포 평균과 분산의 분포를 정규화하는 Batch Normalized-VAE(BN-VAE)를 도입하는 것.
• 이 정규화가 기대 KL 발산에 하한을 보장함으로써 그 값이 0으로 붕괴되는 것을 방지함을 보여주는 것.
• 새로운 구성 요소를 추가하거나 손실 함수를 수정하지 않고도 표준 VAE 목적함수를 유지하는 것.
• 동일한 배치 정규화를 조건부 추론 네트워크에 적용하여 BN-VAE를 조건부 VAE(CVAE)로 확장하는 것.
• 기본 사례로 정규분포 사전분포를 사용하며, 가우시안 근사법을 통해 다른 사전분포로의 확장 가능성을 고려하는 것.

실험 결과

연구 질문

• RQ1 데이터셋 전반에 걸쳐 KL 발산을 분포로 모델링하는 것이 자동귀납적 디코더를 가진 VAE에서 사후분포 붕괴를 방지할 수 있는가?
• RQ2 KL 분포의 기대값을 양수로 유지하는 것이 열악한 해를 피하는 데 충분한가?
• RQ3 사후분포 파라미터의 배치 정규화가 VAE 목적함수를 수정하지 않고도 KL 분포를 효과적으로 정규화할 수 있는가?
• RQ4 BN-VAE가 하류 NLP 작업에서 강력한 자동귀납적 기준 모델들을 능가하면서도 학습 속도를 유지할 수 있는가?
• RQ5 BN-VAE는 대화 생성을 위한 조건부 VAE로 효과적으로 확장될 수 있는가?

주요 결과

• BN-VAE는 자동귀납적 디코더를 가진 VAE에서 사후분포 붕괴를 효과적으로 방지하며, 학습 전반에 걸쳐 안정적이고 비영인 KL 값이 유지됨을 확인했다.
• 언어 모델링 작업에서 BN-VAE는 강력한 자동귀납적 기준 모델을 능가하며, 더 복잡한 방법들과 경쟁 가능한 BLEU 점수를 기록했다.
• 텍스트 분류 작업에서 BN-VAE는 표준 VAE보다 높은 정확도를 달성했으며, 더 복잡한 모델들과 유사한 성능을 보였다.
• 대화 생성 작업에서 BN-VAE는 표준 CVAE보다 더 관련성 있고 유창하며 정보량이 많은 응답을 생성했으며, 관련성과 정보량 측면에서 높은 인간 평가 점수를 기록했다.
• 인간 평가 결과, BN-VAE는 유창성, 관련성, 정보량 측면에서 '높음'(점수=3)으로 평가된 응답 비율이 가장 높았다.
• 자동 평가 결과, BN-VAE는 표준 CVAE보다 리콜 및 코사인 유사도 지표에서 뛰어난 성능을 보였으며, 더 나은 응답 다양성과 품질을 의미한다.