[논문 리뷰] INSPIRED: Toward Sociable Recommendation Dialog Systems

Shirley Anugrah Hayati, Dongyeop Kang외 3명|arXiv (Cornell University)|2020. 09. 29.

Topic Modeling참고 문헌 35인용 수 12

한 줄 요약

이 논문은 사회과학 이론에서 유래한 사회적 전략을 포함한 1,001개의 인간-인간 영화 추천 대화로 구성된 새로운 데이터셋인 Inspired를 소개한다. 이러한 전략들—예를 들어 격려나 개인적 의견과 같은 것들—을 종단 간 대화 모델에 통합함으로써, 저자들은 자동 평가 지표와 인간 평가 모두에서 베이스라인 모델을 능가하는 성능을 보이며, 특히 설득력과 참여도 측면에서 향상된 결과를 도출한다.

ABSTRACT

In recommendation dialogs, humans commonly disclose their preference and make recommendations in a friendly manner. However, this is a challenge when developing a sociable recommendation dialog system, due to the lack of dialog dataset annotated with such sociable strategies. Therefore, we present INSPIRED, a new dataset of 1,001 human-human dialogs for movie recommendation with measures for successful recommendations. To better understand how humans make recommendations in communication, we design an annotation scheme related to recommendation strategies based on social science theories and annotate these dialogs. Our analysis shows that sociable recommendation strategies, such as sharing personal opinions or communicating with encouragement, more frequently lead to successful recommendations. Based on our dataset, we train end-to-end recommendation dialog systems with and without our strategy labels. In both automatic and human evaluation, our model with strategy incorporation outperforms the baseline model. This work is a first step for building sociable recommendation dialog systems with a basis of social science theories.

연구 동기 및 목표

• 효과적인 의사소통 전략으로 주석이 달린 자연스럽고 사회적인 추천 대화 데이터셋의 부족을 해결하기 위해.
• 격려나 개인적 의견과 같은 사회적 전략이 인간 대화에서 성공적인 추천에 어떻게 영향을 미치는지 조사하기 위해.
• 사회적 전략을 통합하여 추천 상호작용에서 설득력, 참여도, 자연스러움을 향상시키는 대화 시스템을 개발하기 위해.
• 자동 평가와 인간 평가를 통해 종단 간 추천 대화 시스템에서 전략 기반 모델링의 효과성을 검증하기 위해.

제안 방법

• 스토리텔링 제약 없이 자유 형식의 환경에서 커뮤니티 워커를 통해 1,001개의 자연스럽고 이원적 영화 추천 대화를 수집한다.
• 사회과학 이론에 기반한 전략 주석 체계를 설계하여, 각 발화에 격려, 유사성, 개인적 의견과 같은 사회적 전략을 레이블링한다.
• 입력 시퀀스에 전략 토큰(예: 'encouragement')을 접두어로 붙여 생성을 이끄는 방식으로 종단 간 대화 모델을 훈련시킨다.
• 대화 생성을 강제하기 위해, 추천 의도를 95.4%의 정확도와 91.2%의 F1 점수로 탐지하는 BERT 기반 분류기를 사용한다.
• 자연어 생성 품질 평가 지표(퍼플렉서티, BLEU-4)와 인간 평가(유창성, 일관성, 자연스러움, 설득력, 참여도)를 통해 모델을 평가한다.
• 전략 감독 없이 학습된 베이스라인 모델과 전략 보강된 모델을 비교하여 최고 성능을 보인 전략 조합(예: 'encouragement' 전용)을 선정한다.

실험 결과

연구 질문

• RQ1 격려나 개인적 의견과 같은 사회적 추천 전략이 인간 대화에서 성공적인 추천와 관련이 있는가?
• RQ2 종단 간 대화 모델에 사회적 전략을 통합함으로써 추천의 품질과 설득력이 향상되는가?
• RQ3 사용자들은 사회적 전략을 사용하는 대화 시스템과 사용하지 않는 시스템의 자연스러움과 참여도를 어떻게 평가하는가?
• RQ4 어떤 특정 사회적 전략이 추천 성공률과 대화 품질 향상에 가장 효과적인가?

주요 결과

• 전략 보강 모델은 퍼플렉서티(8.93 vs. 9.28)와 BLEU-4 점수(6.63 vs. 5.11)에서 베이스라인보다 우수한 성능을 보이며 생성 품질 향상을 입증했다.
• 인간 평가에서 참가자들은 모든 다섯 가지 기준—유창성, 일관성, 자연스러움, 설득력, 참여도—에서 전략 보강 모델을 선호했다.
• 모델 간 가장 두드러진 차이점은 참여도였고, 그 다음으로 자연스러움이었으며, 이는 사회적 전략이 사용자 참여도를 향상시킨다는 것을 시사한다.
• 'encouragement' 전략만 사용했을 때가 가장 뛰어난 성능을 보였으며, 'encouragement + similarity' 조합보다도 뛰어났다.
• BERT 기반 추천 분류기는 발화에서 추천 의도를 탐지하는 데 95.4%의 정확도와 91.2%의 F1 점수를 기록했다.