[논문 리뷰] Generating More Interesting Responses in Neural Conversation Models with Distributional Constraints

Ashutosh Baheti, Alan Ritter외 2명|arXiv (Cornell University)|2018. 09. 04.

Topic Modeling참고 문헌 44인용 수 6

한 줄 요약

이 논문은 일반적인 응답을 줄이기 위해 분포 제약을 통합한 신경 대화 모델의 디코딩 목적함수를 제안한다. 빔 서치에 주제와 의미 유사도 제약을 통합함으로써, 타당성을 훼손하지 않은 채 더 정보가 풍부하고 내용이 풍부한 응답을 생성한다. 인간 평가와 자동 평가 지표를 통해 검증되었다.

ABSTRACT

Neural conversation models tend to generate safe, generic responses for most inputs. This is due to the limitations of likelihood-based decoding objectives in generation tasks with diverse outputs, such as conversation. To address this challenge, we propose a simple yet effective approach for incorporating side information in the form of distributional constraints over the generated responses. We propose two constraints that help generate more content rich responses that are based on a model of syntax and topics (Griffiths et al., 2005) and semantic similarity (Arora et al., 2016). We evaluate our approach against a variety of competitive baselines, using both automatic metrics and human judgments, showing that our proposed approach generates responses that are much less generic without sacrificing plausibility. A working demo of our code can be found at https://github.com/abaheti95/DC-NeuralConversation.

연구 동기 및 목표

• 최대우도 디코딩으로 훈련된 신경 대화 모델에서 흔히 발생하는 일반적이고 지루한 응답 문제를 해결하기 위해.
• 분포 제약 형태의 보조 정보를 통합하여 응답의 다양성과 정보성 향상을 위해.
• '나 모르겠다'와 같은 높은 빈도로 발생하지만 정보가 적은 단어들에 과도하게 의존하는 것을 줄이면서도 응답의 타당성을 유지하기 위해.
• 인간 평가와 자동 평가 지표를 통해 주제 및 의미 유사도 제약이 응답 품질 향상에 얼마나 효과적인지 평가하기 위해.

제안 방법

• 조건부 우도와 주제 및 의미에 대한 분포 제약를 조합한 수정된 디코딩 목적함수를 도입한다.
• 입력과 응답의 주제 분포를 추정하기 위해 Griffiths 등 (2005)의 모델을 사용하여 유사한 주제 내용을 가진 응답을 선호한다.
• Arora 등 (2016)의 고정 차원 문장 임베딩을 활용해 입력과 응답 간의 의미 유사도를 측정한다.
• 두 제약 조건을 빔 서치 디코딩 과정에 추가 항으로 적용하여, 입력과 주제 및 의미에서 유사한 가설을 선호한다.
• 모델 아키텍처를 수정하지 않고도 왼쪽에서 오른쪽 빔 서치에 통합할 수 있는 단어 수준의 요소로 제약 조건을 구현한다.
• 두 단계 접근법을 구현한다: 첫 번째로 대규모 대화 데이터에서 표준 Seq2Seq 모델을 훈련하고, 두 번째로 외부 주제 및 임베딩 모델을 사용하여 제약된 디코딩를 적용한다.

실험 결과

연구 질문

• RQ1 분포 제약는 응답의 타당성을 훼손하지 않으면서도 정보성 향상에 기여할 수 있는가?
• RQ2 주제 기반 제약와 의미 유사도 제약는 일반적인 응답 생성을 얼마나 효과적으로 줄일 수 있는가?
• RQ3 모델 재학습 없이도 제약된 디코딩을 표준 빔 서치에 효과적으로 통합할 수 있는가?
• RQ4 주제 및 의미 유사도 제약를 동시에 적용할 경우, 기준 모델 대비 인간 평가에서 더 높은 응답 품질을 달성할 수 있는가?

주요 결과

• 인간 평가 결과, 분포 제약를 적용한 응답은 최대우도 디코딩에 비해 유의미하게 더 정보가 풍부하고 일반적이지 않게 생성됨을 확인했다.
• 제안된 방법은 기준 모델과 유사한 수준의 타당성을 유지하면서도 더 내용이 풍부한 응답을 생성했다.
• 주제 및 의미 유사도 제약를 병행 적용할 경우, MMI 및 주제 조건 기반 기준 모델 대비 응답 품질 향상이 명확하게 관찰되었다.
• BLEU 및 distinct-n 점수와 같은 자동 평가 지표는 생성된 응답의 다양성과 관련성 향상을 보여주었다.
• 이 방법은 응답에서 기능어의 지배적 비중을 줄여 의미 있는 어휘의 비율을 증가시켰다.