[논문 리뷰] Conversational Recommender System

Yueming Sun, Yi Zhang|arXiv (Cornell University)|2018. 06. 08.

Recommender Systems and Techniques참고 문헌 7인용 수 7

한 줄 요약

이 논문은 대화 시스템과 추천 시스템을 통합하여 대화형 추천 에이전트를 구축하기 위한 통합된 딥 강화학습 프레임워크를 제안한다. 동적이고 반구조적인 필드-값 쿼리로 사용자 선호도를 모델링하고, 정책 네트워크를 통해 세션 기반의 유틸리티를 최적화함으로써, 시뮬레이션 및 온라인 사용자 연구에서 베이스라인 방법을 능가하여 더 높은 전환율과 더 적은 대화 라운드를 달성한다.

ABSTRACT

A personalized conversational sales agent could have much commercial potential. E-commerce companies such as Amazon, eBay, JD, Alibaba etc. are piloting such kind of agents with their users. However, the research on this topic is very limited and existing solutions are either based on single round adhoc search engine or traditional multi round dialog system. They usually only utilize user inputs in the current session, ignoring users' long term preferences. On the other hand, it is well known that sales conversion rate can be greatly improved based on recommender systems, which learn user preferences based on past purchasing behavior and optimize business oriented metrics such as conversion rate or expected revenue. In this work, we propose to integrate research in dialog systems and recommender systems into a novel and unified deep reinforcement learning framework to build a personalized conversational recommendation agent that optimizes a per session based utility function.

연구 동기 및 목표

• 기존 대화형 에이전트가 장기적인 사용자 선호도를 忽시하고 단일 라운드 또는 작업 중심 대화에만 의존하는 점을 보완하기 위해.
• 개인화된 추천 모델을 대화 시스템과 통합하여 사용자 만족도 및 전환율, 수익과 같은 비즈니스 지표를 향상시키기 위해.
• 현재 및 이전 사용자 데이터를 바탕으로 언제 선호도를 묻거나 추천을 해야 할지 동적으로 결정하는 강화학습 기반의 대화 정책을 개발하기 위해.
• 사용자 상태를 실시간으로 자연어 입력을 분석하는 믿음 추적기( belief tracker )를 통해 업데이트되는 반구조적 필드-값 쌍 쿼리로 모델링하기 위해.
• 모의 환경과 실제 온라인 사용자 연구를 통해 프레임워크를 평가하여 실용적 구현에서의 효과성을 입증하기 위해.

제안 방법

• 대화 기록을 믿음 추적기가 매 대화 라운드마다 업데이트하는 동적이고 반구조적인 사용자 쿼리로 표현하며, 이는 필드-값 쌍으로 구성된다.
• 대화 매니저를 위한 작업 특화 액션 공간을 설계하며, 이는 가격 범위, 위치 등의 필드 값 요청 또는 제품 추천과 같은 액션을 포함한다.
• 세션 기반 유틸리티 함수를 최대화하도록 강화학습을 사용해 딥 정책 네트워크를 훈련시키며, 정보 수집과 추천 시점의 균형을 고려한다.
• 사용자의 장기적인 평점 기록과 실시간 대화 맥락을 모두 활용하여 예측하는 개인화된 추천 모델을 통합한다.
• 사용자 발화를 탈디지털화하고 합성 대화 트래잭터리를 생성함으로써, 모의 사용자 상호작용을 통해 믿음 추적기를 사전 훈련시킨다.
• 전체 대화 세션 동안 최적화되는 전환 성공 지표(예: 히트 레이트, 라운드 수, 추천 품질)를 기반으로 보상 함수를 정의한다.

실험 결과

연구 질문

• RQ1 대화 시스템과 추천 시스템을 통합한 통합 프레임워크가 고립된 접근 방식에 비해 대화형 추천 성능을 향상시킬 수 있는가?
• RQ2 대화 관리에 장기적인 사용자 선호도를 통합할 경우 추천 정확도와 사용자 만족도에 어떤 영향을 미치는가?
• RQ3 다중 라운드 대화에서 사용자 선호도 수집과 적시 추천 사이의 최적의 균형은 무엇인가?
• RQ4 세션 기반 보상 함수를 갖는 강화학습이 전환율 및 상호작용 길이와 같은 핵심 지표를 얼마나 향상시킬 수 있는가?
• RQ5 실제 세계 사용자 연구에서 제안된 방법은 규칙 기반 또는 비개인화된 베이스라인과 비교해 어떻게 성능을 냈는가?

주요 결과

• 제안된 대화형 추천 모델(CRM)은 온라인 사용자 연구에서 28.85%의 성공률을 기록하여, 단지 22.12%를 기록한 MaxEnt Full 베이스라인을 크게 앞섰다.
• CRM은 평균 3.79회의 라운드로 전환을 달성했으며, MaxEnt Full 방법의 4.58회보다 상당히 효율적인 상호작용을 보였다.
• CRM은 평균적으로 3~4개의 필드만 수집한 후 추천을 내렸지만, MaxEnt Full 방법은 모든 5개의 필드를 수집한 후에야 추천을 내려 더 빠른 의사결정 능력을 보였다.
• 모의 환경에서 CRM은 더 높은 히트 레이트를 기록했고, 세션 기반 유틸리티 함수 최적화에서도 뛰어난 성능을 보여, 사용자 노력 감소 효과를 확인했다.
• 시스템은 장기적인 사용자 선호도와 실시간 대화 맥락을 통합함으로써 더 정확하고 적시에 맞는 추천이 가능하다는 것을 입증했다.
• 결과적으로, 철저히 설계된 보상 함수를 갖는 강화학습은 에이전트가 정보 수집과 추천 제공 사이의 최적의 트레이드오���을 학습할 수 있음을 시사한다.