[논문 리뷰] Proactive Human-Machine Conversation with Explicit Conversation Goals

Wenquan Wu, Zhen Guo외 5명|arXiv (Cornell University)|2019. 06. 13.

Topic Modeling참고 문헌 20인용 수 41

한 줄 요약

논문은 지식 그래프의 도움을 받아 리더가 대화를 명시적 주제로 이끄는 적극적 대화 설정을 소개하고, 지식 기반의 적극적 대화를 위한 대규모 데이터셋 DuConv를 제공하며; 검색 기반 및 생성 기반 모델을 평가하여 지식 그래프를 계획한다.

ABSTRACT

Though great progress has been made for human-machine conversation, current dialogue system is still in its infancy: it usually converses passively and utters words more as a matter of response, rather than on its own initiatives. In this paper, we take a radical step towards building a human-like conversational agent: endowing it with the ability of proactively leading the conversation (introducing a new topic or maintaining the current topic). To facilitate the development of such conversation systems, we create a new dataset named DuConv where one acts as a conversation leader and the other acts as the follower. The leader is provided with a knowledge graph and asked to sequentially change the discussion topics, following the given conversation goal, and meanwhile keep the dialogue as natural and engaging as possible. DuConv enables a very challenging task as the model needs to both understand dialogue and plan over the given knowledge graph. We establish baseline results on this dataset (about 270K utterances and 30k dialogues) using several state-of-the-art models. Experimental results show that dialogue models that plan over the knowledge graph can make full use of related knowledge to generate more diverse multi-turn conversations. The baseline systems along with the dataset are publicly available

연구 동기 및 목표

• 민감한 인간과 유사한 에이전트를 구축하여 단순히 반응하는 것이 아니라 적극적으로 대화를 이끌도록 하는 동기 부여.
• 지식 그래프를 통한 명시적 목표가 있는 지식 기반의 적극적 대화 작업 제안.
• 사실 정보 및 비사실 정보 지식을 결합한 대규모 데이터셋(DuConv) 구축 및 공개.
• 지식 의식적 검색 및 생성 모델을 개발하고 적극적 대화를 위한 벤치마킹.
• 지식 그래프를 통한 계획이 다-turn 대화에서 다양성 및 목표 달성에 미치는 영향 분석.

제안 방법

• 사실 정보 및 비사실 정보 영화 지식을 연결하고 연관된 삼항 관계를 포함하는 지식 그래프를 구성.
• 대화 목표를 지식 경로 [start -> topic_a -> topic_b]로 정의하고 리더와 팔로워가 있는 약 30k개 대화를 수집.
• 맥락, 지식, 목표를 통합한 지식 인식 기반의 응답 랭킹 모델 제안.
• prior/posterior 지식 분포를 학습하고 KL 발산으로 이를 정렬하는 지식 가이드 디코더를 갖춘 지식 인식 생성 모델 제안.
• 자동 지표(Hits@1/3, PPL, F1/BLEU, DISTINCT)와 인간 평가(유창성, 일관성, 정보성, 적극성, 목표 달성)로 모델을 학습·평가.
• 지식 주도적 대화에서 벤치마킹 가능하도록 코드와 데이터를 공개적으로 발표해 누구나 사용할 수 있도록 함.

실험 결과

연구 질문

• RQ1 대화 시스템이 지식 그래프를 계획하며 명시적 목표를 가지고 대화를 적극적으로 이끌 수 있는가?
• RQ2 지식 그래프와 목표 지향적 계획을 도입하면 다-turn 대화의 다양성과 정보성이 향상되는가?
• RQ3 지식 기반의 적극적 대화 설정에서 검색 기반과 생성 기반 접근법은 어떻게 비교되는가?
• RQ4 주제 라벨(normalizing topic labels) (topic_a/topic_b)의 정규화가 일반화 및 성능에 어떤 영향을 미치는가?

주요 결과

• 지식 인식 모델이 지식을 사용하지 않는 베이스라인보다 전반적 측정에서 우수하다고 나타남.
• 생성 기반 모델이 회수 기반 혹은 Seq2Seq 베이스라인보다 회전 수준의 정보성 및 적극성, 대화 수준의 목표 달성 및 일관성이 더 높게 나타남.
• prior/posterior 지식 분포를 KL 발산으로 결합하면 지식 활용 및 목표 달성 향상.
• 주제 라벨의 정규화(topic_a/topic_b)이 모든 모델의 성능을 크게 향상시킴.
• 지식 활용 접근 방식은 더 다양하고 주제에 적합한 응답을 만들지만, 일부 경우 다-turn 목표 완성은 여전히 도전적임.