[논문 리뷰] User Memory Reasoning for Conversational Recommendation

Hu Xu, Seungwhan Moon외 5명|arXiv (Cornell University)|2020. 05. 30.

Topic Modeling참고 문헌 26인용 수 6

한 줄 요약

이 논문은 대화형 추천을 위한 사용자 메모리 그래프(UMG) 프레임워크를 제안한다. 이 프레임워크는 오프라인 사용자 선호도와 온라인 대화 상호작용을 구조화된 지식 그래프에 동적으로 통합한다. 제안된 UMGR 모델은 이 그래프 위에서 제로샷 추론을 수행하여 개인화된 대화 정책과 추천을 생성하며, 설명 가능하고 적응 가능한 추천을 위해 그래프 구조를 유지함으로써 오프라인 및 온라인 평가에서 뛰어난 성능을 달성한다.

ABSTRACT

We study a conversational recommendation model which dynamically manages users' past (offline) preferences and current (online) requests through a structured and cumulative user memory knowledge graph, to allow for natural interactions and accurate recommendations. For this study, we create a new Memory Graph (MG) Conversational Recommendation parallel corpus called MGConvRex with 7K+ human-to-human role-playing dialogs, grounded on a large-scale user memory bootstrapped from real-world user scenarios. MGConvRex captures human-level reasoning over user memory and has disjoint training/testing sets of users for zero-shot (cold-start) reasoning for recommendation. We propose a simple yet expandable formulation for constructing and updating the MG, and a reasoning model that predicts optimal dialog policies and recommendation items in unconstrained graph space. The prediction of our proposed model inherits the graph structure, providing a natural way to explain the model's recommendation. Experiments are conducted for both offline metrics and online simulation, showing competitive results.

연구 동기 및 목표

• 기존 대화형 추천 시스템이 사용자 장기 선호도와 변화하는 대화 맥락을 유지하고 이에 기반한 추론를 수행하지 못하는 한계를 해결하기 위해.
• 사용자/아이템 지식을 추론 모델에서 분리함으로써, 미리보지 않은 사용자와 아이템에 대해 제로샷(냉각 상태) 추론을 가능하게 하기 위해.
• 행동를 기반으로 한 유연하고 구조화된 사용자 메모리 그래프에 고정하여, 오픈 어휘 및 제약 없는 대화 정책 생성을 지원하기 위해.
• 실제 사용자 행동과 추론을 반영하는 인간이 애너테이션한 메모리 기반 대화를 포함한 새로운 벤치마크 데이터셋 MGConvRex를 구축하기 위해.
• 사용자 및 아이템 지식의 그래프 구조를 그대로 이어받음으로써 추천을 자연스럽게 설명할 수 있는 모델을 개발하기 위해.

제안 방법

• 사용자 이력, 후보 아이템, 그들의 속성을 이질적인 지식 그래프의 (엔티티, 관계, 엔티티) 삼중항 형태로 통합하여 사용자 메모리 그래프(MG)를 구축한다.
• 대화 턴 동안 새로운 사용자 선호도와 시스템 동작을 새로운 삼중항으로 추가함으로써 MG를 동적으로 업데이트한다.
• 진행 중인 MG 위에서 종단간 추론을 수행하는 그래프 기반 신경망인 UMGR 모델을 제안한다. 이 모델은 대화 정책과 아이템 추천을 예측한다.
• 모델을 구조 보존형으로 설계하여, 정책 출력(예: 추천)이 그래프의 위상 구조를 통해 직접적으로 해석 가능하도록 보장한다.
• 대화 이력과 사용자 메모리 그래프를 인코딩하기 위해 듀얼 인코더 아키텍처를 사용하여 온라인 및 오프라인 지식을 함께 추론할 수 있도록 한다.
• MGConvRex 데이터셋에서의 지도 정보를 활용하여 정책 예측 및 아이템 순위 매기기 목표를 조합하여 모델을 훈련한다.

실험 결과

연구 질문

• RQ1 사용자 메모리 그래프는 대화형 추천에서 오프라인 선호도와 온라인 대화 상호작용을 동시에 동적으로 추론하는 데 효과적으로 기여할 수 있는가?
• RQ2 사용자 및 아이템에 관계없이 훈련된 모델이, 사용자 및 아이템을 처음으로 만날 때 제로샷 추론을 얼마나 잘 수행할 수 있는가?
• RQ3 구조화되고 진화하는 사용자 메모리 그래프를 통합함으로써 대화 정책과 추천의 정확성과 설명 가능성은 어떻게 향상되는가?
• RQ4 모델은 질문을 통해 사용자 선호도를 점진적으로 이해하고 추천 사이클을 반복하는 자연스럽고 인간 같은 대화 흐름을 생성할 수 있는가?
• RQ5 기존의 메모리 기반 또는 구조 인식 추론이 없는 베이스라인과 비교했을 때, 모델의 성능은 어떻게 되는가?

주요 결과

• UMGR 모델은 오프라인 메트릭과 온라인 시뮬레이션 모두에서 경쟁적인 성능을 보이며, 동적 추천 환경에서의 강건성을 입증한다.
• 제거 실험 결과에서 대화 맥락이나 사용자 메모리 그래프 업데이트를 제거할 경우 성능이 크게 떨어지며, 이는 메모리 기반 추론의 중요성을 확인한다.
• UMGR은 규칙 기반 에이전트와 사전 학습된 그래프 임베딩 베이스라인을 모두 압도하며, 특히 개인화 및 냉각 상태 환경에서 뛰어난 성능을 보인다.
• 모델는 시간이 지남에 따라 아이템의 중요도 점수를 효과적으로 업데이트하며, 새로운 사용자 정보 수집과 함께 실제 선호도와 일치하는 경향을 보인다.
• 시각화 결과는 모델가 사용자 선호도 변화에 따라 아이템을 동적으로 재순위 매김하고 있음을 확인하며, 자연스러운 추론의 진행 과정을 반영하고 있음을 보여준다.
• 제안된 MGConvRex 데이터셋은 훈련 및 테스트 사용자가 상이하므로 제로샷 추론을 가능하게 하며, 모델의 일반화 능력을 검증한다.