[논문 리뷰] A Dataset for Document Grounded Conversations

Kangyan Zhou, Shrimai Prabhumoye외 1명|arXiv (Cornell University)|2018. 09. 19.

Topic Modeling참고 문헌 10인용 수 11

한 줄 요약

이 논문은 영화에 관한 위키백과 문서를 참조하여 대화를 나누는 새로운 데이터셋을 소개한다. 참가자 중 한 명 또는 양쪽이 문서에 접근하는 상황에서 대화가 이루어지며, 문서 정보를 활용한 모델이 더 매력적이고 유창한 응답을 생성함을 입증한다. 응답의 선호도가 +7.5% 향상되고, 유창성 평가(MOS)가 +0.96 상승하며, 퍼플렉서티가 11.69점 감소하여 외부 문서 기반 대화 시스템의 가치를 입증한다.

ABSTRACT

This paper introduces a document grounded dataset for text conversations. We define "Document Grounded Conversations" as conversations that are about the contents of a specified document. In this dataset the specified documents were Wikipedia articles about popular movies. The dataset contains 4112 conversations with an average of 21.43 turns per conversation. This positions this dataset to not only provide a relevant chat history while generating responses but also provide a source of information that the models could use. We describe two neural architectures that provide benchmark performance on the task of generating the next response. We also evaluate our models for engagement and fluency, and find that the information from the document helps in generating more engaging and fluent responses.

연구 동기 및 목표

• 외부 문서에 기반한 대화 데이터셋이 부족한 문제를 해결하고, 일관성과 참여도를 유지하는 대화 데이터셋을 제공하기 위해.
• 실제로 인간이 애너테이션한 데이터셋을 구축하여, 대화가 특정 정보 문서(예: 위키백과 문서)에 기반하도록 하기 위해.
• 신경 대화 모델에서 문서 기반 기반의 영향을 평가하기 위해.
• 더 정보가 풍부하고, 자연스럽고, 참여도가 높은 응답을 생성하기 위해 문서 컨텍스트를 통합하는 신경 아키텍처를 벤치마킹하기 위해.

제안 방법

• 데이터셋은 아마존 메카니컬 터크를 통해 수집되었으며, 두 명의 참가자가 최소 12턴 이상 영화에 관한 위키백과 문서를 토론하였다.
• 참가자들은 문서 접근 조건이 있는 경우와 없는 경우로 나뉘어져, 서로 다른 기반 조건을 시뮬레이션하였다.
• 다양한 영화 장르에 해당하는 30개의 위키백과 문서가 포함되어 있으며, 각 문서는 기본 정보와 핵심 플롯 장면 3개로 분할되었다.
• 응답 생성에 문서 컨텍스트를 포함하거나 포함하지 않은 신경 시퀀스-투-시퀀스 모델을 학습하여 성능을 비교하였다.
• 모델 평가에는 자동 평가 지표(퍼플렉서티)와 인간 평가(MOS 유창성 및 참여도)를 사용하여 응답 품질을 평가하였다.
• 응답 생성 중에 문서 인식 주의 메커니즘을 사용한 인코더-디코더 프레임워크를 통해 문서 컨텍스트를 인코딩하고 주의를 기울였다.

실험 결과

연구 질문

• RQ1 특정 문서에 기반한 대화 응답이 응답의 유창성과 참여도에 어떤 영향을 미치는가?
• RQ2 공동으로 사용 가능한 문서에 접근할 경우, 다중턴 대화에서 일관성과 정보 정확도가 어느 정도 향상되는가?
• RQ3 신경 모델이 문서 내용을 효과적으로 활용하여 더 맥락에 부합하고 자연스러운 응답을 생성할 수 있는가?
• RQ4 문서 기반 기반의 영향이 대화 시스템의 자동 평가 지표와 인간 평가 지표에 어떤 정량적 영향을 미치는가?

주요 결과

• 문서 정보 포함으로 인간 평가에서 선호도 점수가 7.5% 향상되어 더 매력적인 응답을 생성함을 시사한다.
• 문서 기반 기반을 적용한 모델의 응답은 유창성 평가(MOS)에서 0.96점 향상되어 자연스러운 표현이 향상됨을 보여준다.
• 문서 기반 기반을 적용한 모델은 퍼플렉서티가 11.69점 감소하여 언어 모델링 성능 향상을 보였다.
• 데이터셋에는 평균 21.43턴을 가진 4,112개의 대화가 포함되어 있어 풍부한 훈련 및 평가 데이터를 제공한다.
• 문서 접근 조건에 속한 참가자들은 플롯 세부 사항과 캐릭터 동기 부여에 대해 더 일관되고 정보가 풍부한 대화를 생성하였다.
• 결과적으로 문서 기반 기반은 생성된 대화 응답의 품질과 관련성 모두를 크게 향상시킴을 입증한다.