[논문 리뷰] Neural Response Generation with Dynamic Vocabularies

Yu Wu, Wei Wu외 4명|arXiv (Cornell University)|2017. 11. 30.

Topic Modeling인용 수 50

한 줄 요약

본 논문은 DVS2S를 소개하며, open-domain 채팅을 위한 입력별 어휘와 응답을 함께 학습해 품질과 디코딩 효율성을 향상시킵니다.

ABSTRACT

We study response generation for open domain conversation in chatbots. Existing methods assume that words in responses are generated from an identical vocabulary regardless of their inputs, which not only makes them vulnerable to generic patterns and irrelevant noise, but also causes a high cost in decoding. We propose a dynamic vocabulary sequence-to-sequence (DVS2S) model which allows each input to possess their own vocabulary in decoding. In training, vocabulary construction and response generation are jointly learned by maximizing a lower bound of the true objective with a Monte Carlo sampling method. In inference, the model dynamically allocates a small vocabulary for an input with the word prediction model, and conducts decoding only with the small vocabulary. Because of the dynamic vocabulary mechanism, DVS2S eludes many generic patterns and irrelevant words in generation, and enjoys efficient decoding at the same time. Experimental results on both automatic metrics and human annotations show that DVS2S can significantly outperform state-of-the-art methods in terms of response quality, but only requires 60% decoding time compared to the most efficient baseline.

연구 동기 및 목표

• 고정된 디코딩 어휘를 포기하고 입력별 어휘를 사용해 노이즈와 일반적인 응답을 줄이는 것을 동기부여한다.
• 입력별로 어휘 구성과 응답 생성을 함께 학습하는 동적 어휘 S2S 프레임워크를 제안한다.
• 동적 어휘가 대규모 대화 데이터에서 응답 품질을 향상시키고 디코딩 시간을 줄임을 보인다.

제안 방법

• 입력 인코딩에 biGRU 기반 인코더를 사용해 은닉 표현을 얻는다.
• 각 입력에 대해 입력을 조건으로 하는 다변 Bernoulli 분포에서 목표 어휘 T를 샘플링한다.
• 선택된 어휘 T만을 사용해 어텐션 기반 디코더와 T에 대한 투영으로 응답을 디코딩한다.
• 학습을 변분 하한 최대화로 정식화하고 S 샘플의 Monte Carlo 샘플링을 통해 T를 최적화한다.
• 어휘를 항상 포함되는 기능어와(함수 어휘)와 인코더 상태에 의존하는 내용을 단어(beta 매개변수)로 분리한다.
• 단어 선택과 응답 생성을 공동으로 학습해 디코딩이 더 작고 관련된 어휘를 사용하도록 한다.

실험 결과

연구 질문

• RQ1 입력별 동적 어휘가 열린 도메인 응답의 관련성 및 정보성을 개선할 수 있는가?
• RQ2 어휘 구성과 응답 생성을 함께 학습하는 것이 별도 학습보다 더 나은 성능을 내는가?
• RQ3 동적 어휘의 크기가 응답 품질과 디코딩 효율성에 어떤 영향을 미치는가?

주요 결과

• DVS2S는 BLEU-1, Embedding Average, Distinct-1 같은 자동 지표에서 기초 모델 대비 상당한 향상을 보인다.
• DVS2S는 Distinct-1 및 Distinct-2가 더 높아 더 다양하고 정보성이 높은 응답을 생성한다.
• 휴먼 평가에서도 DVS2S가 기초 모델보다 더 정보적이고 유효하지 않은 응답이 적다.
• DVS2S는 같은 설정의 가장 효율적인 기초 모델과 비교해 디코딩 시간을 약 40% 단축한다.
• 상위 컨텐츠 어휘 약 1,000단어로 테스트 응답의 정답 단어의 약 80%를 커버한다.
• 어휘 구성과 응답 생성을 공동으로 학습하면 분리 학습 버전(S-DVS2S)보다 성능이 향상된다.