[논문 리뷰] Handling Cold-Start Collaborative Filtering with Reinforcement Learning

Hima Varsha Dureddy, Zachary Kaden|arXiv (Cornell University)|2018. 06. 16.

Recommender Systems and Techniques참고 문헌 11인용 수 5

한 줄 요약

이 논문은 영화 추천 시스템에서 냉시작 사용자를 대상으로 하여 정보 수익을 최대화하는 데 목적이 있는 딥 Q 네트워크(DQN)를 사용하는 딥 강화학습 접근법을 제안한다. Q-Embedding 모델은 사용자 임베딩 오차를 직접 최소화함으로써 기존 방법보다 뛰어난 성능을 보이며, 낮은 RMSE를 달성하고 더 긴 인터뷰에 잘 일반화되며, 주도적 학습과 뜨거운 시작 사용자 적응을 가능하게 한다.

ABSTRACT

A major challenge in recommender systems is handling new users, whom are also called $ extit{cold-start}$ users. In this paper, we propose a novel approach for learning an optimal series of questions with which to interview cold-start users for movie recommender systems. We propose learning interview questions using Deep Q Networks to create user profiles to make better recommendations to cold-start users. While our proposed system is trained using a movie recommender system, our Deep Q Network model should generalize across various types of recommender systems.

연구 동기 및 목표

• 기존 사용자에게 역사적 평점이 없기 때문에 발생하는 협업 필터링의 냉시작 문제를 해결하기 위해.
• 정확한 사용자 프로필을 구축하기 위해 최적의 질문 순서를 학습하는 적응형 인터뷰 시스템을 설계하기 위해.
• 강화학습을 활용하여 각 인터뷰 단계에서 정보 수익을 최대화함으로써 추천 품질을 향상시키기 위해.
• 영화 추천 시스템을 초월하여 다른 종류의 추천 시스템에 일반화 가능하게 하기 위해.
• 동적 인터뷰 종료 또는 계속 여부를 판단하기 위해 정보 수익의 경계를 추정함으로써 주도적 학습을 가능하게 하기 위해.

제안 방법

• 이 방법은 사용자 선호도에 대한 기대 정보 수익을 최대화하는 질문을 선택하기 위해 딥 Q 네트워크(DQN)를 사용한다.
• 냉시작 사용자의 임베딩은 예측된 사용자 임베딩와 BPMF에 의해 추정된 사용자 임베딩 간의 MSE를 최소화함으로써 학습된다 (Q-Embedding 모델).
• 대체로 Q-Rating 모델은 예측된 영화 평점의 RMSE를 직접 최소화하며, 예측된 평점을 보상 신호로 사용한다.
• DQN은 경험 재생과 타겟 네트워크를 사용하여 학습을 안정화시키며, 상태는 이전 답변으로 정의되고 행동은 영화 질의로 정의된다.
• 모델은 다양한 길이의 인터뷰로 일반화되며, 더 긴 인터뷰에 대해 훈련된 경우 성능이 향상된다.
• DQN의 Q-값은 주도적 학습을 가능하게 하며, 추정된 정보 수익에 기반하여 질문을 동적으로 선택하거나 건너뛸 수 있다.

실험 결과

연구 질문

• RQ1 강화학습이 냉시작 사용자를 위한 최적의 질문 순서를 효과적으로 학습하는 데 사용될 수 있는가?
• RQ2 전통적인 의사결정 트리 기반 접근법과 비교할 때 DQN 기반의 인터뷰 전략은 추천 정확도와 적응 가능성 측면에서 어떻게 다른가?
• RQ3 3개 질문에 대해 훈련된 DQN 모델이 4개 질문 인터뷰에 대해 일반화될 수 있는가?
• RQ4 기존 평점 기반으로 맥락 인식 질문을 생성함으로써, 뜨거운 시작 사용자에게도 모델을 적용할 수 있는가?
• RQ5 추정된 Q-값이 정보 수익의 경계를 제공함으로써, 인터뷰를 언제 멈출지 또는 계속할지 식별할 수 있는가?

주요 결과

• Q-Embedding 모델은 Q-Rating 모델보다 낮은 RMSE를 달성했으며, 네 번째 질문을 추가함으로써 2e-3 감소하여 사용자 임베딩 학습에서 뛰어난 성능을 보였다.
• Q-Rating 모델은 Q-Embedding 모델보다 약 3배 더 오래 훈련되었으며, 이는 후자가 넷플릭스와 같은 대규모 데이터셋에 더 스케일러블하다는 것을 의미한다.
• 3개 질문 인터뷰에 대해 훈련된 후에도 두 모델 모두 4개 질문 인터뷰로 잘 일반화되었으며, 강력한 일반화 능력을 보였다.
• Q-Embedding 모델의 100명의 사용자당 훈련 시간은 데이터셋 크기에 영향을 받지 않았으며, 이는 Q-Rating 모델보다 더 좋은 스케일러비리티를 보여준다.
• DQN 기반 접근법은 정보 수익의 경계를 추정함으로써 주도적 학습을 가능하게 하며, 냉시작 및 뜨거운 시작 사용자 모두에 대해 동적 인터뷰 제어를 가능하게 한다.
• 모델은 기존 방법을 능가하며, 영화 추천에 국한되지 않고 다양한 종류의 추천 시스템에 적용 가능하다.