[논문 리뷰] Better Conversations by Modeling,Filtering,and Optimizing for Coherence and Diversity

Xinnuo Xu, Ondřej Dušek외 2명|arXiv (Cornell University)|2018. 09. 18.

Topic Modeling참고 문헌 35인용 수 5

한 줄 요약

이 논문은 GloVe 기반의 일관성 측정법을 도입하고, 일관성과 어휘 다양성을 고려해 훈련 데이터를 필터링하며, 일관성에 명시적으로 조건부로 작용하는 컨텍스트 게이트를 갖춘 조건부 변동 자동에코드(cVAE)를 훈련시켜 개방형 대화 시스템에서 응답의 일관성과 다양성을 향상시키는 통합 프레임워크를 제안한다. OpenSubtitles 데이터셋에서의 실험 결과, 경쟁적 기준 모델들에 비해 BLEU, 일관성, 다양성 지표에서 유의미한 향상이 이루어졌다.

ABSTRACT

We present three enhancements to existing encoder-decoder models for open-domain conversational agents, aimed at effectively modeling coherence and promoting output diversity: (1) We introduce a measure of coherence as the GloVe embedding similarity between the dialogue context and the generated response, (2) we filter our training corpora based on the measure of coherence to obtain topically coherent and lexically diverse context-response pairs, (3) we then train a response generator using a conditional variational autoencoder model that incorporates the measure of coherence as a latent variable and uses a context gate to guarantee topical consistency with the context and promote lexical diversity. Experiments on the OpenSubtitles corpus show a substantial improvement over competitive neural models in terms of BLEU score as well as metrics of coherence and diversity.

연구 동기 및 목표

• 신경망 기반 응답 생성에서 명시적인 일관성 모델링의 부재로 인해 일반적이고 일관성이 떨어지는 출력이 발생하는 문제를 해결하기 위해.
• 주제 일관성과 어휘 풍부성을 고려해 훈련 데이터를 필터링하여 응답 다양성을 향상시키기 위해.
• 응답 품질 제어를 위해 조건부 변동 자동에코드(cVAE) 아키텍처에 일관성 값을 잠재 변수로 통합하기 위해.
• 컨텍스트 게이팅과 일관성 인식 훈련을 통합하여 주제 일致성과 반복을 줄이기 위해.
• 외부 애너테이션이나 언어 규칙에 의존하지 않는 완전히 비지도이며 데이터 기반의 일관성 모델링 접근법을 제공하기 위해.

제안 방법

• 컨텍스트와 응답 토큰의 GloVe 단어 임베딩 간 코사인 유사도 평균을 일관성으로 정의한다.
• 일관성 점수가 높은 컨텍스트-응답 쌍을 선택하여 OpenSubtitles 코퍼스를 필터링해 개선된 훈련 세트를 구성한다.
• 한 개의 잠재 변수가 대화 컨텍스트를, 다른 하나가 일관성 측정값을 인코딩하는 조건부 변동 자동에코드(cVAE)를 훈련한다.
• 컨텍스트 단어와 이전에 생성된 응답 토큰 간의 주의를 동적으로 조정하여 주제 관련성을 향상시키는 컨텍스트 게이트 메커니즘을 통합한다.
• 재구성 손실과 일관성 기반 정규화를 동시에 사용하여 cVAE 모델을 공동 훈련시켜 일관성 있고 다양성 있는 출력를 유도한다.
• 컨텍스트 게이트를 활용한 빔 서치 디코딩을 통해 맥락에 기반하고 어휘적으로 다양성 있는 응답을 생성한다.

실험 결과

연구 질문

• RQ1 순수하게 비지도이며 임베딩 기반의 일관성 측정법이 고품질의 일관성 있는 대화 응답을 효과적으로 식별할 수 있는가?
• RQ2 일관성 기반으로 훈련 데이터를 필터링할 경우 응답 품질 향상에 어느 정도 기여하는가?
• RQ3 cVAE 아키텍처에서 일관성을 잠재 변수로 명시적으로 모델링할 경우 더 일관성 있고 다양성 있는 응답을 생성할 수 있는가?
• RQ4 일관성 인식 훈련과 컨텍스트 게이트를 통합할 경우 응답의 주제 일관성과 어휘 다양성에 어떤 영향을 미치는가?
• RQ5 제안된 프레임워크가 BLEU, 일관성, 다양성 지표 측면에서 기존 신경망 기반 응답 생성 모델보다 우수한가?

주요 결과

• 제안된 모델은 경쟁 기준 모델 대비 BLEU 점수에서 유의미한 향상을 보이며 전반적인 응답 품질 향상을 입증한다.
• 자동 일관성 및 다양성 지표에서의 상당한 향상은 일관성 인식 훈련 접근법의 효과성을 확인한다.
• 제거 실험(ablation studies) 결과, 각 구성 요소—일관성 필터링, 일관성 잠재 변수를 갖춘 cVAE, 컨텍스트 게이트—가 성능 향상에 기여한다는 것이 입증된다.
• 인간 평가(미래 작업에서 암시됨)를 통해 모델이 더 일관성 있고 매력적인 응답을 생성할 수 있음을 검증할 것으로 기대된다.
• cVAE-XGate (1.0) 모델은 fOST 테스트 세트의 정성적 예시에서 MMI 기준 모델보다 더 구체적이고 맥락에 부합하는 응답을 생성한다.
• 특히 주제적으로 일관되고 어휘적으로 다양성 있는 응답을 생성하는 데서, MMI 및 보통 cVAE와 같은 강력한 기준 모델들을 능가한다.