[논문 리뷰] Cyclical Annealing Schedule: A Simple Approach to Mitigating KL Vanishing

Hao Fu, Chunyuan Li외 4명|arXiv (Cornell University)|2019. 03. 25.

Algorithms and Data Compression참고 문헌 36인용 수 168

한 줄 요약

텍스트 VAEs에서 KL 항에 대한 순환형 어닐링 스케줄을 도입하고 Path A를 여러 차례 다시 여는 방식으로 의미 있는 잠재 코드의 학습을 점진적으로 촉진하며 KL 소실을 비용 증가 없이 감소시킨다.

ABSTRACT

Variational autoencoders (VAEs) with an auto-regressive decoder have been applied for many natural language processing (NLP) tasks. The VAE objective consists of two terms, (i) reconstruction and (ii) KL regularization, balanced by a weighting hyper-parameter β. One notorious training difficulty is that the KL term tends to vanish. In this paper we study scheduling schemes for β, and show that KL vanishing is caused by the lack of good latent codes in training the decoder at the beginning of optimization. To remedy this, we propose a cyclical annealing schedule, which repeats the process of increasing βmultiple times. This new procedure allows the progressive learning of more meaningful latent codes, by leveraging the informative representations of previous cycles as warm re-starts. The effectiveness of cyclical annealing is validated on a broad range of NLP tasks, including language modeling, dialog response generation and unsupervised language pre-training.

연구 동기 및 목표

• 자회귀 디코더를 갖춘 VAE에서 KL 소실과 그 원인을 설명한다.
• VAE를 위한 저비용의 효과적인 학습 스케줄로써 순환형 어닐링을 제안한다.
• 언어 모델링, 대화 생성, 비지도 학습 사전 학습 전반에 걸쳐 이 방법을 시연한다.

제안 방법

• 자회귀 디코더를 갖춘 텍스트용 VAE를 두 개의 잠재 학습 경로(Path A는 z를 통해, Path B는 x_{<t}를 통해)로 모델링한다.
• beta가 0에서 1로 증가한 뒤 이전 사이클에서 워밍 리스타트를 사용하여 재설정되는 다중 사이클의 순환형 어닐링을 제안한다.
• 사이클 기반 스케줄링으로 beta_t를 형식화한다: beta_t는 f(tau)를 따른 후 사이클의 남은 기간 동안 1로 설정하고; 어닐링을 위한 M개의 사이클과 R 비율을 도입한다.
• beta의 영향에 대한 이론적 통찰을 beta, 상호정보 I(z;n), 그리고 KL 항 간의 하한 분석을 통해 제시한다.
• 순환 스케줄링을 상수 및 단조 증가 스케줄과 비교하여 KL을 더 높이고 더 풍부한 잠재 표현을 촉진함을 보인다.
• 언어 모델링(PTB), 대화 응답 생성(Switchboard), 비지도 언어 사전 학습(Yelp)에서 검증한다.

실험 결과

연구 질문

• RQ1 텍스트용 자회귀 디코더를 갖춘 VAE에서 KL 소실의 원인은 무엇인가?
• RQ2 추가 계산 비용 없이 순환형 beta 일정이 잠재 코드 학습과 디코더 활용도를 향상시킬 수 있는가?
• RQ3 언어 모델링, 대화 생성, 비지도 학습 등 NLP 작업에서 순환형 어닐링이 상수 및 단조 스케줄과 어떻게 비교되는가?
• RQ4 순환적 스케줄링을 통해 Path A를 다시 여는 것이 더 구조화된 잠재 공간과 더 나은 다운스트림 성능을 가져오는가?

주요 결과

• 실험에서 순환형 어닐링은 단조 증가 스케줄에 비해 재구성 오차를 낮추고 KL을 더 높게 만든다.
• 사이클을 거치며 점진적으로 더 나은 성능을 보이며, 이전 잠재 표현의 워밍 스타트 이점을 시사한다.
• 대화 생성에서 순환형 스케줄링은 KL과 BLEU 점수를 증가시키고 단조 스케줄링보다 더 다양한 응답을 생성한다.
• 비지도 사전 학습의 경우 순환형 스케줄링이 다운스트림 정확도와 더 선명한 잠재 군집화(t-SNE로 시각화)를 가져온다.
• 표준 VAE 훈련에 비해 계산 비용이 거의 추가되지 않는 상태로 개선을 달성한다.
• 특이변 수 분석은 이득이 학습률 순환보다는 순환형 beta 일정에서 주로 발생함을 시사한다.