[논문 리뷰] A Hierarchical Latent Structure for Variational Conversation Modeling

Yookoon Park, Jaemin Cho외 1명|arXiv (Cornell University)|2018. 04. 10.

Topic Modeling참고 문헌 14인용 수 17

한 줄 요약

이 논문은 대화 생성을 위한 새로운 VAE 기반 모델인 변분 계층적 대화 RNN(VHCR)을 제안한다. 이 모델은 전역 및 국소 잠재 변수를 가진 계층적 잠재 구조와 발화 제거 정규화를 사용하여 조건부 VAE에서 발생하는 열악한 성능 문제를 해결한다. VHCR는 Cornell Movie Dialog 및 Ubuntu Dialog Corpus에서 최신 기술을 초월하여 더 나은 생성 품질을 달성하고, 분리된 잠재 공간을 통해 전반적인 대화 제어를 가능하게 한다.

ABSTRACT

Variational autoencoders (VAE) combined with hierarchical RNNs have emerged as a powerful framework for conversation modeling. However, they suffer from the notorious degeneration problem, where the decoders learn to ignore latent variables and reduce to vanilla RNNs. We empirically show that this degeneracy occurs mostly due to two reasons. First, the expressive power of hierarchical RNN decoders is often high enough to model the data using only its decoding distributions without relying on the latent variables. Second, the conditional VAE structure whose generation process is conditioned on a context, makes the range of training targets very sparse; that is, the RNN decoders can easily overfit to the training data ignoring the latent variables. To solve the degeneration problem, we propose a novel model named Variational Hierarchical Conversation RNNs (VHCR), involving two key ideas of (1) using a hierarchical structure of latent variables, and (2) exploiting an utterance drop regularization. With evaluations on two datasets of Cornell Movie Dialog and Ubuntu Dialog Corpus, we show that our VHCR successfully utilizes latent variables and outperforms state-of-the-art models for conversation generation. Moreover, it can perform several new utterance control tasks, thanks to its hierarchical latent structure.

연구 동기 및 목표

• 대화 모델링에서 조건부 변분 오토인코더(VAE)의 지속적인 열악한 성능 문제를 해결하기 위해, 디코더가 잠재 변수를 무시하고 일반 RNN처럼 행동하는 현상을 방지한다.
• 특히 맥락 조건부 생성에서의 데이터 희소성과 과도하게 강력한 디코더가 원인이 되는 계층적 VAE의 열악한 성능 문제의 근본 원인을 규명한다.
• 장기적인 대화 구조를 효과적으로 모델링하고 생성 품질을 향상시키기 위해 전역 및 국소 잠재 변수를 동시에 활용하는 새로운 모델 아키텍처를 설계한다.
• 특히 전역 대화 맥락을 제어할 수 있도록 분리된 잠재 공간을 활용한 제어 가능한 대화 생성을 가능하게 한다.

제안 방법

• 장기적 의존성과 전역 맥락을 더 잘 모델링하기 위해 전역 대화 잠재 변수(z^conv)와 국소 발화 수준의 잠재 변수(z^utt)를 포함한 계층적 잠재 구조를 도입한다.
• 학습 중에 무작위로 발화를 마스킹함으로써 맥락-발화 쌍에 대한 과적합을 방지하고 잠재 변수에 의존하도록 유도하는 새로운 학습 기법인 발화 제거 정규화를 제안한다.
• 디코더가 맥락 RNN의 은닉 상태와 잠재 변수에 조건부로 자동적으로 응답을 생성하는 조건부 VAE 프레임워크를 사용한다.
• 발화 수준의 RNN 인코더와 디코더, 그리고 시간이 지남에 따라 발화 표현을 처리하는 맥락 수준의 RNN을 포함한 계층적 RNN 아키텍처를 사용한다.
• 변분 하한의 안정적 최적화를 보장하기 위해 VAE 목적함수의 엔드 투 엔드 학습을 위해 KL 안내기와 재생성 기법을 적용한다.
• 추론 시에는 탐욕적 디코딩을 사용하고, 자동 평가 지표(BLEU, ROUGE, BERTScore)와 인간 평가를 통해 생성 품질을 평가한다.

실험 결과

연구 질문

• RQ1 기존의 계층적 RNN을 사용하는 조건부 VAE 모델들이 단어 제거와 같은 정규화 기법을 사용하고도 여전히 열악한 성능 문제를 겪는 이유는 무엇인가?
• RQ2 맥락 조건부 생성에서의 데이터 희소성이 대화 VAE의 열악한 성능 문제에 어떤 기여를 하는가?
• RQ3 전역 및 국소 잠재 변수를 모두 포함한 계층적 잠재 구조는 대화 모델링에서 잠재 변수의 활용도와 생성 품질을 향상시킬 수 있는가?
• RQ4 전역 잠재 변수는 대화 톤 간의 보간 등 대화의 전반적 제어를 어느 정도 가능하게 하는가?

주요 결과

• VHCR는 Cornell Movie Dialog 및 Ubuntu Dialog Corpus에서 BLEU, ROUGE, BERTScore 등 여러 자동 평가 지표에서 HRED, VHRED, 보조 손실을 사용한 VHRED보다 높은 성능을 기록한다.
• 기본 모델인 VHRED 버전보다 더 높고 안정적인 KL 발산 값을 기록하여, 보조 목표 없이도 잠재 변수를 효과적으로 활용하고 있음을 시사한다.
• 아마존 Mechanical Turk를 통한 인간 평가 결과, VHCR는 특히 Ubuntu Dialog Corpus에서 성능 향상이 더 두드러지게 나타나 더 일관되고 맥락에 부합하는 응답을 생성함을 확인했다.
• 전역 잠재 변수 z^conv를 따라 보간하면 생성된 대화의 톤과 내용이 효과적으로 조절됨을 확인하여 전역 제어가 효과적으로 작동함을 입증했다.
• z^conv를 고정하고 z^utt만 샘플링함으로써 다양하면서도 맥락에 부합하는 응답을 생성할 수 있었으며, 이는 전역 맥락과 발화 수준의 변동성이 효과적으로 분리되어 있음을 확인했다.
• 발화 제거 정규화가 맥락-발화 쌍에 대한 과적합을 효과적으로 방지하고 디코더의 기억에 의존하는 경향을 줄여 일반화 능력과 잠재 변수 활용도를 향상시켰다는 점에서 효과가 입증되었다.