[논문 리뷰] Towards Conversational Recommendation over Multi-Type Dialogs

Zeming Liu, Haifeng Wang외 4명|arXiv (Cornell University)|2020. 05. 08.

Topic Modeling참고 문헌 31인용 수 19

한 줄 요약

이 논문은 사용자 관심사와 피드백를 바탕으로 비추천 대화(예: 질의응답, 경청 대화)에서 추천 대화로 수동적이지 않고 능동적으로 전환하는 다중 유형 대화에서의 대화형 추천을 소개한다. 저자들은 목표 계획과 목표 유도 응답 생성을 갖춘 MGCG 프레임워크를 제안하고, 체계적인 연구를 가능하게 하기 위해 10,000개의 대화, 156,000개의 발화를 포함하는 DuRecDial 데이터셋을 공개한다. 이는 검색 기반 및 생성 기반 모델을 사용하여 목표 완수성과 자연스러움에서 최신 기술 수준의 성능을 달성한다.

ABSTRACT

We propose a new task of conversational recommendation over multi-type dialogs, where the bots can proactively and naturally lead a conversation from a non-recommendation dialog (e.g., QA) to a recommendation dialog, taking into account user's interests and feedback. To facilitate the study of this task, we create a human-to-human Chinese dialog dataset \emph{DuRecDial} (about 10k dialogs, 156k utterances), which contains multiple sequential dialogs for every pair of a recommendation seeker (user) and a recommender (bot). In each dialog, the recommender proactively leads a multi-type dialog to approach recommendation targets and then makes multiple recommendations with rich interaction behavior. This dataset allows us to systematically investigate different parts of the overall problem, e.g., how to naturally lead a dialog, how to interact with users for recommendation. Finally we establish baseline results on DuRecDial for future studies. Dataset and codes are publicly available at https://github.com/PaddlePaddle/models/tree/develop/PaddleNLP/Research/ACL2020-DuRecDial.

연구 동기 및 목표

• 다양한 인간-봇 상호작용에서 비추천 대화(예: 질의응답, 경청 대화)에서 추천 대화로의 능동적이고 자연스러운 전환에 관한 연구 부족을 해결하기 위해.
• 로봇이 다양한 대화 유형(예: 질의응답, 경청 대화, 작업, 추천)을 거쳐 개인화된 추천으로 대화를 능동적으로 이끌 수 있는 방법을 연구하기 위해.
• 다양한 대화 흐름에서 효과적인 목표 계획 및 주제 전환을 위해 사용자 관심사와 피드백을 모델링하기 위해.
• 다양한 대화 유형과 상호작용 패턴을 지원하는 대규모, 인간이 애너테이션한 다중 도메인 대화 데이터셋을 구축하여 대화형 추천를 위한 기반을 마련하기 위해.

제안 방법

• 사용자 관심사와 주제의 자연스러움을 바탕으로 장기적 추천 목표와 단기 목표를 결정하는 목표 계획 모듈을 갖춘 다목표 기반 대화 생성(MGCG) 프레임워크를 제안한다.
• 각 대화 유형(예: 질의응답, 경청 대화, 작업, 추천)에 적합한 맥락적이고 지식 기반의 응답을 생성하는 목표 유도 응답 모듈을 설계한다.
• 지식 그래프 임베딩과 사용자 프로필 정보를 통합하여 응답의 정보성과 개인화 수준을 향상시킨다.
• 검색 기반 및 생성 기반 응답 선택 전략을 모두 사용하며, 후자는 순서 기반 모델링을 통해 엔드 투 엔드로 훈련된다.
• 다양한 대화 유형 간의 흐름을 관리하면서도 일관성과 능동성을 유지하는 혼합 목표 기반 대화 정책을 구현한다.
• 자동 평가 및 인간 평가 지표(목표 성공률, 일관성, 능동성 포함)를 사용하여 신규로 공개된 DuRecDial 데이터셋에서 프레임워크를 평가한다.

실험 결과

연구 질문

• RQ1 다양한 유형의 대화 환경에서 로봇은 비추천 대화(예: 질의응답, 경청 대화)에서 어떻게 능동적이고 자연스럽게 추천 대화로 전환할 수 있는가?
• RQ2 사용자 관심사 모델링과 피드백은 대화형 추천을 위한 효과적인 목표 시퀀스 계획에 어떤 역할을 하는가?
• RQ3 다양한 대화 유형 간에 지식 기반과 다단계 일관성을 어떻게 유지할 수 있는가?
• RQ4 검색 기반 및 생성 기반 응답 모델은 다중 유형 대화 시스템에서 목표 완수성과 자연스러움 측면에서 얼마나 성능이 다를 수 있는가?
• RQ5 여러 대화 유형을 동시에 관리할 때 높은 목표 성공률과 일관성을 달성하는 데 있어 주요 과제는 무엇인가?

주요 결과

• 검색 기반 및 생성 기반 모델을 사용한 MGCG 프레임워크는 적절성, 정보성, 목표 성공률, 일관성 측면에서 S2S 기준 모델보다 뚜렷이 뛰어나다.
• 검색 기반 모델은 실제 인간 발화에서 선택하므로 더 높은 유창성을 보이지만, 후보 다양성의 제한으로 인해 목표 완수성과 정보성에서 열등하다.
• 목표 성공률은 지식 사용과 강하게 상관된다: 더 많은 지식을 사용하는 모델일수록 목표 완수율이 높으며, 특히 질의응답 및 추천과 같은 지식 집약적 대화 유형에서 두드러진다.
• 경청 대화 목표는 질의응답 또는 추천 목표보다 더 쉽게 달성되며, 지식 집약적 대화 유형의 복잡성이 더 높음을 시사한다.
• 생성 기반 MGCG 모델은 예측된 총 272개의 목표 중 174개를 완료하여 64%의 성공률을 기록했고, 검색 기반 모델은 288개 중 158개(55% 성공률)를 달성하여 S2S 기준 모델 대비 성능 향상을 보였다.
• 인간 평가 결과, MGCG 모델은 S2S 기준 모델 대비 더 능동적이고 일관성 있으며 목표 중심적인 응답을 생성하며, 적절성과 정보성 측면에서 높은 점수를 기록했다.