[논문 리뷰] Partially Observable Markov Decision Process for Recommender Systems

Zhongqi Lu, Qiang Yang|arXiv (Cornell University)|2016. 08. 28.

Recommender Systems and Techniques참고 문헌 22인용 수 16

한 줄 요약

이 논문은 사용자 관심 변화를 모델링하고 음성 학습 샘플에 의존하지 않음으로써 재귀적 악화(RD) 현상을 해결하는 신경망 최적화 POMDP 프레임워크인 POMDP-Rec를 제안한다. 오직 양성 피드백과 이력 데이터만을 사용하여 전문가가 수작업으로 튜닝한 모델과 유사한 성능을 달성하며, 믿음 상태 전이를 통해 학습을 안정화시킨다.

ABSTRACT

We report the "Recurrent Deterioration" (RD) phenomenon observed in online recommender systems. The RD phenomenon is reflected by the trend of performance degradation when the recommendation model is always trained based on users' feedbacks of the previous recommendations. There are several reasons for the recommender systems to encounter the RD phenomenon, including the lack of negative training data and the evolution of users' interests, etc. Motivated to tackle the problems causing the RD phenomenon, we propose the POMDP-Rec framework, which is a neural-optimized Partially Observable Markov Decision Process algorithm for recommender systems. We show that the POMDP-Rec framework effectively uses the accumulated historical data from real-world recommender systems and automatically achieves comparable results with those models fine-tuned exhaustively by domain exports on public datasets.

연구 동기 및 목표

• 피드백 루프 열화와 데이터 분포 이동으로 인해 발생하는 온라인 추천 시스템 내 재귀적 악화(RD) 현상 해결
• 부분 관측 가능한 사용자 상태와 불완전한 피드백을 처리하기 위해 순차적 추천을 부분 관측 가능한 마르코프 결정 과정(POMDP)으로 모델링
• 실제 시스템에서 흔히 부족하거나 편향이 있는 음성 학습 샘플이 필요 없도록 제거
• 상태 전이 모델링을 통해 변화하는 사용자 관심과 동적인 추천 맥락에 대한 강건성 향상
• 추론 중 변화하는 사용자 선호도에 제약을 받지 않고 모든 이력 데이터를 효과적으로 오프라인 학습에 활용 가능하도록 설계

제안 방법

• 사용자 상태가 은폐되어 있고 관측 가능한 부분적 정보(예: 클릭)로부터 추론되는 POMDP로 순차적 추천 과정을 수립
• 고차원 상태-행동 공간에서의 함수 근사 가능성을 보장하기 위해 신경망 기반 피팅 Q-학습 사용
• 사용자 관심에 대한 시스템의 확률적 이해를 표현하기 위해 믿음 상태를 사용하며, 관측된 피드백에 기반해 업데이트
• 합성 또는 샘플링된 음성 예제가 필요 없도록 오직 양성 피드백(예: 클릭)에서만 학습
• 메모리가 없는 상태 전이 모델링을 통해 전체 사용자 행동 시퀀스를 저장하지 않으면서도 상태 전이를 모델링함으로써 학습 효율성 향상
• 혼합된 이력 데이터를 반복적으로 학습하여 Q-값 추정의 안정성 확보 및 과대추정 편향 감소

실험 결과

연구 질문

• RQ1 사용자 피드백이 희박하고 불완전한 상황에서 POMDP 기반 프레임워크가 순차적 추천을 효과적으로 모델링할 수 있는가?
• RQ2 POMDP-Rec 프레임워크는 피드백 루프 편향과 데이터 분포 이동으로 인한 재귀적 악화(RD) 현상을 어떻게 완화하는가?
• RQ3 POMDP 기반 모델이 음성 학습 샘플이 필요 없이도 전문가가 수작업으로 튜닝한 지도 학습 모델과 유사한 성능을 달성할 수 있는 정도는 어느 정도인가?
• RQ4 POMDP-Rec의 믿음 상태 전이 메커니즘이 표준 MDP나 지도 학습 모델보다 변화하는 사용자 관심과 추천 맥락을 더 효과적으로 포착하는가?
• RQ5 실세계 추천 시스템의 대규모 이력 데이터에서 훈련할 경우 POMDP-Rec 프레임워크는 얼마나 안정적이고 확장 가능한가?

주요 결과

• POMDP-Rec 프레임워크는 KDDCUP '11 대회에서 최고 성능을 기록한 단일 모델(RMSE ≈ 22.1)과 유사한 성능을 달성하며, 철저한 하이퍼파라미터 튜닝과 특징 공학을 요구하지도 않음
• 훈련의 6회 반복 이후 성능이 크게 향상되어 반복적 업데이트에 의해 효과적인 수렴과 Q-값 과대추정 감소가 이루어짐을 시사함
• 평균 보상은 부드럽게 증가하고 평균 최대 Q-값은 충분한 훈련 샘플 이후 안정화됨으로써 Yahoo Music 데이터셋에서 모델 안정성을 입증함
• 음성 샘플 생성이 필요 없이 오직 양성 피드백에서만 학습함으로써 추천 시스템의 일종의 클래스 문제를 효과적으로 해결함
• 상태 전이 모델링을 통해 일반화 능력을 유지함으로써 실시간 데이터 재학습 없이도 사용자 관심의 변화와 추천 맥락의 변화에 적응 가능함
• 이 프레임워크는 POMDP를 추천 시스템에 적용한 최초의 사례로서, 부분 관측 가능성과 믿음 기반 의사결정을 순차적 추천에 체계적으로 모델링하는 데 기여함