[논문 리뷰] Flexible End-to-End Dialogue System for Knowledge Grounded Conversation

Wenya Zhu, Kaixiang Mo외 4명|arXiv (Cornell University)|2017. 09. 13.

Topic Modeling참고 문헌 15인용 수 88

한 줄 요약

GenDS는 구조화된 KB를 생성에 통합하기 위해 동적 지식 조회기와 지식 게이트를 활용하여 미지의 엔티티를 포함한 임의의 수의 지식 엔티티를 담은 응답을 생성할 수 있는 완전한 데이터 기반의 엔드-투-엔드 대화 모델이다.

ABSTRACT

In knowledge grounded conversation, domain knowledge plays an important role in a special domain such as Music. The response of knowledge grounded conversation might contain multiple answer entities or no entity at all. Although existing generative question answering (QA) systems can be applied to knowledge grounded conversation, they either have at most one entity in a response or cannot deal with out-of-vocabulary entities. We propose a fully data-driven generative dialogue system GenDS that is capable of generating responses based on input message and related knowledge base (KB). To generate arbitrary number of answer entities even when these entities never appear in the training set, we design a dynamic knowledge enquirer which selects different answer entities at different positions in a single response, according to different local context. It does not rely on the representations of entities, enabling our model deal with out-of-vocabulary entities. We collect a human-human conversation data (ConversMusic) with knowledge annotations. The proposed method is evaluated on CoversMusic and a public question answering dataset. Our proposed GenDS system outperforms baseline methods significantly in terms of the BLEU, entity accuracy, entity recall and human evaluation. Moreover,the experiments also demonstrate that GenDS works better even on small datasets.

연구 동기 및 목표

• 이전 QA/대화 시스템의 단일 엔티티 한계 또는 어휘 외 한계를 넘어 지식 기반 대화를 동기화한다.
• 구조화된 KB를 사용하여 임의의 수의 엔티티를 갖는 응답을 생성하는 완전한 데이터 기반 생성기를 제안한다.
• 로컬 및 글로벌 맥락에 기초해 여러 엔티티를 선택하고 통합하는 동적 지식 조회기를 도입한다.
• 지식 기반 음악 대화를 위한 실제 데이터셋으로 ConversMusic를 개발하고 공개한다.
• MusicConvers 및 MusicQA 데이터셋에서 기저모델에 비해 BLEU, 엔티티 정확도 및 엔티티 호출 recall이 향상됨을 시연한다.

제안 방법

• 세 가지 구성요소로 이루어진 GenDS 프레임워크: 후보 사실 검색기, 메시지 인코더, 응답 디코더.
• 지식 게이트 z_t는 각 단계에서 일반 단어를 생성할지 엔티티 단어를 생성할지 여부를 결정한다.
• 동적 지식 조회기는 후보 엔티티를 세 가지 점수(메시지 매칭 r_e, 엔티티 업데이트 f_t, 엔티티 유형 업데이트 u_k)로 순위 매깅한다; 최종 엔티티 확률 p_e(y_t=et)는 r, f, u를 원소별 곱으로 결합하여 계산한다.
• 엔티티 유형은 명시적 엔티티 임베딩을 대체하여 어휘 외 엔티티를 처리하고 미지의 지식 단어 생성을 가능하게 한다.
• 다중 작업 학습을 통해 표준 Seq2Seq 유사 작업과 엔티티 유형에 초점을 맞춘 변형을 공동으로 학습시켜 유창한 언어 생성과 올바른 엔티티 정합성을 조화시킨다.

실험 결과

연구 질문

• RQ1 완전히 데이터 기반의 모델이 학습 중에 보지 못한 지식 엔티티를 포함한 임의의 숫자의 응답을 생성할 수 있는가?
• RQ2 동적 지식 조회기가 고정적이거나 정적 생성에 비해 엔티티 정확도와 다양성을 향상시키는가?
• RQ3 구조화된 KB로의 근거가 음악 도메인 대화 작업에서 BLEU, 엔티티 정확도, 인간 판단에 어떤 영향을 미치는가?

주요 결과

• GenDS는 MusicConvers 및 MusicQA에서 BLEU 및 특히 엔티티 정확도와 재현율이 기저 모델보다 더 높게 나타난다.
• GenDS는 엔티티 관련 지표에서 S2SA, GenQA, GenQAD를 능가하여 외부 지식에 대한 더 나은 근거를 보인다.
• 동적 지식 조회기를 통해 단일 응답 내에 다수의 엔티티 및 미지의 엔티티를 생성할 수 있다.
• GenDS는 다중 작업 학습을 통해 유창성을 유지하면서 사실적 근거를 개선하는 능력을 보여준다.