[논문 리뷰] Deep Reinforcement Learning based Recommendation with Explicit User-Item Interactions Modeling

Feng Liu, Ruiming Tang외 6명|arXiv (Cornell University)|2018. 10. 29.

Recommender Systems and Techniques참고 문헌 38인용 수 82

한 줄 요약

이 논문은 추천을 순차적 의사결정 프로세스로 구성하고 사용자-아이템 상호 작용을 명시적으로 모델링하는 상태 표현 모듈을 갖춘 Actor-Critic DRL 프레임워크(DRR)를 사용하여 즉시 보상과 장기 보상을 최적화한다.

ABSTRACT

Recommendation is crucial in both academia and industry, and various techniques are proposed such as content-based collaborative filtering, matrix factorization, logistic regression, factorization machines, neural networks and multi-armed bandits. However, most of the previous studies suffer from two limitations: (1) considering the recommendation as a static procedure and ignoring the dynamic interactive nature between users and the recommender systems, (2) focusing on the immediate feedback of recommended items and neglecting the long-term rewards. To address the two limitations, in this paper we propose a novel recommendation framework based on deep reinforcement learning, called DRR. The DRR framework treats recommendation as a sequential decision making procedure and adopts an "Actor-Critic" reinforcement learning scheme to model the interactions between the users and recommender systems, which can consider both the dynamic adaptation and long-term rewards. Furthermore, a state representation module is incorporated into DRR, which can explicitly capture the interactions between items and users. Three instantiation structures are developed. Extensive experiments on four real-world datasets are conducted under both the offline and online evaluation settings. The experimental results demonstrate the proposed DRR method indeed outperforms the state-of-the-art competitors.

연구 동기 및 목표

• 추천을 정적이기보다는 동적이고 순차적인 의사결정 프로세스로 모델링하도록 동기를 부여한다.
• 즉각적인 피드백을 넘어 장기 보상을 추천에 포함시킨다.
• 사용자-아이템 상호 작용을 포착하기 위한 명시적 상태 표현 모듈을 개발한다.
• 상호 작용을 효과적으로 모델링하기 위한 상태 표현의 세 가지 구현을 제안한다.
• 실제 데이터셋에서 DRR이 최첨단 기준선보다 우수함을 입증한다.

제안 방법

• 상태를 사용자 이력으로, 행동을 연속 랭킹 벡터로 하는 MDP로 추천을 모델링한다.
• Actor가 아이템 점수를 매기기 위한 랭킹 매개변수를 출력하는 Actor-Critic 프레임워크(DDPG)를 사용한다.
• 상태-행동 쌍의 Q-값을 추정하고 Actor 업데이트를 안내하기 위해 Critic 네트워크를 사용한다.
• 사용자-아이템 상호 작용을 명시적으로 포착하는 상태 표현 모듈을 도입한다.
• 쌍별 및 사용자-아이템 상호 작용을 모델링하기 위해 세 가지 DRR 상태 구조(DRR-p, DRR-u, DRR-ave)를 제공한다.
• 경험 재생과 타깃 네트워크로 학습하며; 평가를 위해 오프라인 로그나 환경 시뮬레이터를 활용한다.

실험 결과

연구 질문

• RQ1 DRR이 추천을 위한 동적이고 순차적인 사용자 선호를 효과적으로 모델링할 수 있는가?
• RQ2 상태 표현에서 사용자-아이템 상호 작용을 명시적으로 모델링하는 것이 기준선보다 성능을 향상시키는가?
• RQ3 다른 DRR 상태 구조(DRR-p, DRR-u, DRR-ave)가 상호 작용 포착에 어떻게 비교되는가?
• RQ4 DRR 방법이 실제 데이터셋에서 전통적 추천 시스템 및 기존 RL 기반 접근법보다 성능이 우수한가?
• RQ5 오프라인 및 시뮬레이터 기반 온라인 평가가 추천에서 장기 보상의 이점을 보여줄 수 있는가?

주요 결과

• DRR은 오프라인 평가(Precision@k, NDCG@k) 및 시뮬레이션 온라인 보상에서 최첨단 기준선보다 우수하다.
• 세 가지 DRR 상태 구조(DRR-p, DRR-u, DRR-ave)는 아이템 정렬 및 사용자 영향력에 따라 서로 다른 강조를 두고 명시적으로 사용자-아이템 상호 작용을 모델링한다.
• 이 프레임워크는 우선순위 경험 재생과 타깃 네트워크를 갖춘 Actor-Critic(DDPG) 접근법을 사용한다.
• 상태 표현 모듈은 최근의 긍정적 상호 작용과 아이템 임베딩으로 요약된 사용자 상태를 학습하여 랭킹 액션을 생성한다.
• 네 개의 실제 데이터셋에 대한 평가에서 제안된 방법이 경쟁 방법보다 우수한 성능을 보여준다.