[논문 리뷰] Wizard of Wikipedia: Knowledge-Powered Conversational agents

Emily Dinan, Stephen Roller외 4명|arXiv (Cornell University)|2018. 11. 03.

Topic Modeling참고 문헌 22인용 수 479

한 줄 요약

논문은 Wikipedia 지식을 활용하여 개방 도메인 대화를 검색, 읽기 및 근거화하는 Transformer Memory Network 아키텍처를 제시하고, 학습 및 평가를 위한 지식-근거 대화의 대규모 데이터셋을 공개합니다.

ABSTRACT

In open-domain dialogue intelligent agents should exhibit the use of knowledge, however there are few convincing demonstrations of this to date. The most popular sequence to sequence models typically "generate and hope" generic utterances that can be memorized in the weights of the model when mapping from input utterance(s) to output, rather than employing recalled knowledge as context. Use of knowledge has so far proved difficult, in part because of the lack of a supervised learning benchmark task which exhibits knowledgeable open dialogue with clear grounding. To that end we collect and release a large dataset with conversations directly grounded with knowledge retrieved from Wikipedia. We then design architectures capable of retrieving knowledge, reading and conditioning on it, and finally generating natural responses. Our best performing dialogue models are able to conduct knowledgeable discussions on open-domain topics as evaluated by automatic metrics and human evaluations, while our new benchmark allows for measuring further improvements in this important research direction.

연구 동기 및 목표

• 큰 텍스트 소스에서 지식을 회상하고 근거화할 수 있는 개방 도메인 대화를 동기화하고 연구한다.
• Wikipedia와 연결된 지식-근거 대화의 대규모 공개 가능한 데이터셋을 생성한다.
• 검색된 지식에 대해 검색하고 읽고 조건화하여 매력적인 응답을 생성하는 아키텍처를 개발한다.
• 지식 근거화와 매력도 평가를 위해 자동 지표와 인간 평가를 모두 평가한다.

제안 방법

• 주제 및 대화 이력에 따라 Wikipedia에서 후보 지식 단락의 소량 후보를 검색하는 정보 검색 단계를 사용한다.
• 트랜스포머 인코더로 지식 문장과 대화 맥락을 인코딩하고 메모리에 주의(attend)하여 맥락-의존 표현을 형성한다.
• Retrieval Transformer Memory Network와 Generative Transformer Memory Network처럼 지식을 선택하고 응답을 생성하는 검색 기반 및 생성 기반 대화 모델을 제공한다.
• 2단계 변형에서는 지식 선택과 응답 생성 구성요소를 분리하고, 끝-에서-끝(end-to-end) 변형에서는 지식을 대화와 함께 인코딩하여 생성을 수행한다.
• 지식 선택이 불완전할 때 강건성을 높이기 위해 지식 드롭아웃을 적용한다.
• 대규모 말뭉치(예: Reddit)에서 구성요소를 사전학습하고, 선택/근거화 성능 향상을 위해 선택적 SQuAD 유사 작업에 미세조정을 수행한다.

실험 결과

연구 질문

• RQ1 지식-근거 대화 모델이 Wikipedia 구절을 효과적으로 검색하고 근거화하여 매력적인 응답을 생성할 수 있는가?
• RQ2 검색 기반과 생성 기반 Transformer Memory Network 아키텍처는 지식 근거화 및 대화 품질 측면에서 어떻게 비교되는가?
• RQ3 명시적 지식 감독과 지식 드롭아웃이 근거화 및 생성에 어떤 영향을 미치는가?
• RQ4 대규모 공개 데이터셋인 Wizard of Wikipedia가 지식-근거 개방 도메인 대화의 개선에 어느 정도 기여하는가?
• RQ5 본 모델의 성능은 보았던 주제와 보지 못한 주제/지식에서 어떻게 달라지는가?

주요 결과

• 검색 기반 모델은 바탕 Baselines 대비 지식 근거화와 매력도에서 일관되게 향상되며, 메모리 보강 트랜스포머가 인간 평가에서 Recall@1 및 Wiki F1에서 강한 성능을 보였다.
• 지식으로 조건화된 생성 모델은 지식이 없는 baselines보다 우수하며, 특히 골 지식이 제공될 때 그렇고, 엔드-투-엔드(end-to-end) 변형이 일부 지표에서 2단계 변형보다 더 잘 수행될 수 있다.
• 지식 감독과 지식 드롭아웃은 강건성과 전반적 성능을 향상시키며, 2단계 모델은 강한 지식 선택 모듈로부터 이점을 얻는다.
• 인간 평가에서 검색 기반 모델이 매력도에서 더 높은 점수를 받는 반면, 지식을 가진 생성 모델은 위키피디아와의 지식 겹침(Wiki F1)이 더 높은 경향을 보인다.
• Wizard of Wikipedia 데이터셋(22,311개의 대화, 201,999개의 대화문)은 지식-근거 대화 시스템의 견고한 학습 및 평가를 가능하게 한다.