[논문 리뷰] Scalable Recommendation with Poisson Factorization

Prem Gopalan, Jake M. Hofman외 1명|arXiv (Cornell University)|2013. 11. 07.

Recommender Systems and Techniques참고 문헌 48인용 수 114

한 줄 요약

이 논문은 확장성 있고 높은 정확도를 갖춘 추천 시스템을 위한 포아송 분해(Poisson Factorization, PF) 및 그 계층적 변형인 HPF를 제안한다. 사용자-아이템 상호작용을 포아송 분포로 모델링함으로써 PF는 희소하고 유한한 사용자 소비 행동을 자연스럽게 포착한다. 이는 명시적 피드백 및 암시적 피드백 데이터에서 비음수 행렬 분해, LDA, 확률적 행렬 분해보다 뛰어난 성능을 보이며, HPF는 최대 8%p 높은 20개 추천 시 normalized precision를 달성한다.

ABSTRACT

We develop a Bayesian Poisson matrix factorization model for forming recommendations from sparse user behavior data. These data are large user/item matrices where each user has provided feedback on only a small subset of items, either explicitly (e.g., through star ratings) or implicitly (e.g., through views or purchases). In contrast to traditional matrix factorization approaches, Poisson factorization implicitly models each user's limited attention to consume items. Moreover, because of the mathematical form of the Poisson likelihood, the model needs only to explicitly consider the observed entries in the matrix, leading to both scalable computation and good predictive performance. We develop a variational inference algorithm for approximate posterior inference that scales up to massive data sets. This is an efficient algorithm that iterates over the observed entries and adjusts an approximate posterior over the user/item representations. We apply our method to large real-world user data containing users rating movies, users listening to songs, and users reading scientific papers. In all these settings, Bayesian Poisson factorization outperforms state-of-the-art matrix factorization methods.

연구 동기 및 목표

• 실세계 추천 시스템에서 희소하고 유한한 사용자 소비 행동을 모델링하는 데 있어 전통적인 행렬 분해의 한계를 해결하기 위해.
• 명시적 평점과 암시적 피드백(예: 클릭, 조회 수)을 모두 자연스럽게 다룰 수 있는 확장성 있는 확률 모델을 개발하기 위해.
• 포아송 가능도를 통해 사용자별 소비 예산과 아이템 인기도의 이질성을 고려함으로써 추천 정확도를 향상시키기 위해.
• 변분 추론을 활용해 관측된(0이 아닌) 항목들만 반복 처리함으로써, 빌리언 스케일의 사용자-아이템 행렬에 대해 효율적인 추론을 가능하게 하기 위해.
• 넷플릭스, 라스트피엠, 멘델리, 뉴욕타임스 등 다양한 실세계 데이터셋에서 PF와 HPF의 일관된 슈퍼리오리티를 입증하기 위해.

제안 방법

• 사용자 선호도 및 아이템 특성 잠재 벡터의 내적을 레이트 파라미터로 사용하여 사용자-아이템 상호작용을 포아송 분포로 모델링한다.
• 사용자 이질성과 아이템 인기도를 데이터 기반으로도灵活하게 모델링할 수 있도록 사용자 및 아이템 잠재 요소에 계층적 사전분포를 적용한다.
• 관측된(비영인) 항목들만을 반복 처리함으로써 대규모 데이터셋에 스케일링 가능한 변분 추론 알고리즘과 확률적 최적화를 활용한다.
• 이중 단계 생성 과정을 적용한다: 사용자는 먼저 소비할 아이템 수(예산)를 선택하고, 이후 잠재 특성에 기반해 선호하는 아이템들에 예산을 할당한다.
• 실세계 사용자 행동 패턴과 일치하도록 적절한 사전분포를 통해 잠재 요소의 비음성 및 희소성 제약 조건을 통합한다.
• 모델 적합도를 검증하고 PF가 고전적 행렬 분해에서 관찰되는 사용자 예산 과대평가 문제를 피한다는 점을 입증하기 위해 사후 예측 검증을 실시한다.

실험 결과

연구 질문

• RQ1 포아송 분포를 기반으로 한 확률적 행렬 분해 모델이 기존 방법보다 실세계 사용자 행동을 더 잘 포착할 수 있는가?
• RQ2 포아송 분해가 명시적 피드백 및 암시적 피드백 데이터 양쪽에서 비음수 행렬 분해, LDA, 표준 행렬 분해보다 뛰어난 성능을 보이는가?
• RQ3 모델은 다양한 데이터 도메인에서 사용자 소비 행동의 이질성과 아이템 인기도를 어떻게 다루는가?
• RQ4 계층적 변형인 HPF는 활동 수준이 다른 사용자들 사이에서 더 뛰어난 성능과 강건성을 제공하는가?
• RQ5 유한한 사용자 예산을 고려한 모델의 생성 과정은 더 나은 예측 성능과 데이터 특화 캘리브레이션의 감소를 이끌어내는가?

주요 결과

• HPF와 BPF는 넷플릭스, 라스트피엠, 멘델리, 뉴욕타임스의 네 데이터셋 전부에서 모든 베이스라인 방법보다 뛰어난 성능을 보였으며, 20개 추천에서 최대 8%p 높은 정규화된 정밀도를 달성했다.
• 포아송 분해는 특히 암시적 피드백 데이터에서 고전적 행렬 분해(편향 포함, MF)보다 뚜렷이 뛰어나며, 0 값을 수동으로 가중치 조정할 필요 없이도 성능을 확보했다.
• 모델은 가장 활동성이 낮은 10% 사용자 포함 모든 활동 수준에서 뛰어난 성능 유지를 보이며, 사용자 희소성에 대한 강건성을 입증했다.
• 사후 예측 검증 결과, 고전적 행렬 분해는 사용자 예산을 체계적으로 과대평가하는 경향이 있었고, 이는 미관측(0) 항목에 대한 과도한 영향을 초래했다. 이는 PF가 피할 수 있는 결함였다.
• 기초 분석 결과, HPF에서 학습된 구성 요소들이 전통적 카테고리 사이를 가로지르고 이를 구분하는 의미 있는 해석 가능한 주제를 포괄하고 있음을 확인했다. 예를 들어 뉴스 기사에서 자기계발과 개인 금융을 명확히 분리하는 데 기여했다.
• 알고리즘은 대규모 데이터셋, 특히 81.6억 개의 셀과 2.5억 개의 평점이 포함된 넷플릭스 데이터셋에서도 관측된 항목들만을 사용해 효율적으로 스케일링되었다.