[논문 리뷰] KdConv: A Chinese Multi-domain Dialogue Dataset Towards Multi-turn Knowledge-driven Conversation

Hao Zhou, Chujie Zheng외 3명|arXiv (Cornell University)|2020. 04. 08.

Topic Modeling참고 문헌 40인용 수 10

한 줄 요약

이 논문은 지식 그래프에서 추출한 지식 트리플을 문맥 단위로 정교하게 표기한 대규모 중국어 다중 도메인 대화 데이터셋인 KdConv를 소개한다. 이 데이터셋은 영화, 음악, 여행 분야에서 4.5천 개의 다단계 대화(총 86천 개의 발화)를 포함하며, 각 발화는 관련 지식 트리플로 레이블링되어 있다. 이 데이터셋은 지식 기반 다단계 대화 생성 연구를 가능하게 하며, 벤치마크 결과는 지식 통합이 모델의 일관성 향상에 기여하지만, 다양한 도메인에서 지식 인식형 응답 생성을 향상시키기 위한 여전히 큰 여정이 남아 있음을 보여준다.

ABSTRACT

The research of knowledge-driven conversational systems is largely limited due to the lack of dialog data which consist of multi-turn conversations on multiple topics and with knowledge annotations. In this paper, we propose a Chinese multi-domain knowledge-driven conversation dataset, KdConv, which grounds the topics in multi-turn conversations to knowledge graphs. Our corpus contains 4.5K conversations from three domains (film, music, and travel), and 86K utterances with an average turn number of 19.0. These conversations contain in-depth discussions on related topics and natural transition between multiple topics. To facilitate the following research on this corpus, we provide several benchmark models. Comparative results show that the models can be enhanced by introducing background knowledge, yet there is still a large space for leveraging knowledge to model multi-turn conversations for further research. Results also show that there are obvious performance differences between different domains, indicating that it is worth to further explore transfer learning and domain adaptation. The corpus and benchmark models are publicly available.

연구 동기 및 목표

• 지식 기반 대화를 위한 정교한 지식 레이블링이 있는 대규모, 다중 도메인, 다단계 중국어 대화 데이터셋의 부족을 보완하기 위해.
• 다단계 대화에서 지식 기반 설계, 지식 기반 계획 수립, 지식 적응 연구를 지원하기 위해.
• 배경 지식 접근 여부에 관계없이 검색 기반 및 생성 기반 모델의 평가를 가능하게 하기 위해.
• 유사 도메인 간(예: 영화 → 음악) 및 비유사 도메인 간(예: 음악 → 여행)의 도메인 간 전이 및 적응을 탐색하기 위해.
• 저자원, 多언어 환경에서 지식 인식형 대화 시스템을 발전시키기 위한 벤치마크 제공을 위해.

제안 방법

• 영화, 음악, 여행 3개 도메인에서 인간이 레이블링한 다단계 대화를 수집하였으며, 평균 대화 길이는 19턴이다.
• 각 발화는 지식 그래프에서 추출한 관련 지식 트리플로 레이블링되어 있어 문장 수준에서 정교한 지식 기반 설계가 가능하다.
• 외부 지식 소스에서 엔티티 연결 및 관계 추출을 통해 지식 그래프를 구축하여 주제 관련 사실 기반의 정확한 지식 기반 설계를 보장하였다.
• 검색 기반 및 생성 기반 평가를 위한 벤치마크 모델을 개발하였으며, 지식 주입 여부에 따라 HRED 및 지식 인식형 BERT를 포함한다.
• 인간 평가를 통해 유창성 및 일관성 지표(0–2 척도)를 사용하고, 평가자 간 일致도를 평가하기 위해 Fleiss’ kappa를 적용하였다.
• 모델 성능을 지식 접근 여부에 따라 비교하여, 도메인 간 일관성, 유창성, 지식 일치도를 분석하였다.

실험 결과

연구 질문

• RQ1 지식 인식형 모델은 장기적이고 다단계적인 중국어 대화에서 얼마나 효과적으로 일관성 있고 지식 기반 응답을 생성할 수 있는가?
• RQ2 지식 그래프에서 추출한 지식을 통합할 경우, 다중 도메인, 다단계 대화에서 응답의 유창성과 일관성은 어느 정도 향상되는가?
• RQ3 영화, 음악, 여행 도메인 간 성능 차이가 지식 기반 설계 및 모델 일반화에 어떤 영향을 미치는가?
• RQ4 지식 인식형 모델은 개방형 대화에서 주제 전환과 다중 사실 지식 활용을 효과적으로 처리할 수 있는가?
• RQ5 현재 모델의 비정형 또는 복잡한 지식 소스와의 응답 일치 능력에는 어떤 한계가 있는가?

주요 결과

• 지식 인식형 BERT는 일관성과 유창성 측면에서 다른 모델을 모두 압도하여 일관성 점수 2.00을 기록하여 맥락 및 지식과의 높은 일치도를 보였다.
• 지식 주입이 있는 HRED는 다양한 도메인에서 일관성 점수를 1.00에서 1.50 이상으로 향상시켜 지식 통합이 배경 사실과의 관련성을 높인다는 것을 입증하였다.
• 개선이 있었음에도 불구하고, 모든 생성 기반 모델의 일관성 점수는 2.00 이하에 머물러 있어 지식 기반 일관성 있는 응답 생성에 지속적인 과제가 있음을 시사한다.
• 평균 대화 길이 19.0턴은 대부분의 기존 데이터셋보다 뚜렷이 길어져 더 자연스럽고 주제가 다양한 대화를 가능하게 하였다.
• 도메인 간 성능 차이가 있었으며, 영화 및 여행 도메인은 각각 고유한 과제를 보였고, 이는 도메인 특화 적응 전략이 필요함을 시사한다.
• 인간 평가를 통해 평가자 간 일致도(Fleiss’ kappa 0.37–0.74)가 확인되어 레이블링 및 평가 프레임워크의 신뢰성을 입증하였다.