[논문 리뷰] Recommendation from Raw Data with Adaptive Compound Poisson Factorization

Olivier Gouvert, Thomas Oberlin외 1명|Open Archive Toulouse Archive Ouverte (University of Toulouse)|2019. 05. 20.

Recommender Systems and Techniques참고 문헌 40인용 수 9

한 줄 요약

이 논문은 원시 카운트 데이터를 추천 시스템에서 모델링하기 위한 통합 프레임워크인 적응형 복합 포아송 인자분해(dcPF)를 제안한다. 복합 포아송 구조를 통한 자기 자극(self-excitation)을 활용하여, 원시 데이터와 이진화된 데이터에서 포아송 인자분해(PF)를 자연스럽게 일반화함으로써 최신 기술 수준의 추천 성능을 달성한다. 이는 확장 가능한 추론과 과분산에 대한 강력한 적응성을 갖춘다.

ABSTRACT

Count data are often used in recommender systems: they are widespread (song play counts, product purchases, clicks on web pages) and can reveal user preference without any explicit rating from the user. Such data are known to be sparse, over-dispersed and bursty, which makes their direct use in recommender systems challenging, often leading to pre-processing steps such as binarization. The aim of this paper is to build recommender systems from these raw data, by means of the recently proposed compound Poisson Factorization (cPF). The paper contributions are three-fold: we present a unified framework for discrete data (dcPF), leading to an adaptive and scalable algorithm; we show that our framework achieves a trade-off between Poisson Factorization (PF) applied to raw and binarized data; we study four specific instances that are relevant to recommendation and exhibit new links with combinatorics. Experiments with three different datasets show that dcPF is able to effectively adjust to over-dispersion, leading to better recommendation scores when compared with PF on either raw or binarized data.

연구 동기 및 목표

• 이진화와 같은 사전 처리 단계 없이 과분산되고 폭발적인 카운트 데이터를 추천 시스템에서 모델링하는 데 도전하는 것.
• 원시 및 이진화된 데이터에서 포아송 인자분해(PF)를 일반화하는 통합 프레임워크인 이산 복합 포아송 인자분해(dcPF)를 개발하는 것.
• 폐쇄형 후행 업데이트와 민감도 높은 요소 분포를 통한 과분산에 대한 적응적 모델링을 통해 추론의 확장 가능성을 보장하는 것.
• 스털링 수의 제3종(Lah 수)을 통한 조합론과 dcPF 간의 이론적 및 실증적 연결을 수립하는 것.

제안 방법

• 관측된 카운트가 잠재적 세션 수와 항목별 자기 자극을 갖는 복합 포아송 과정을 통해 생성되는 계층 모델로 dcPF를 설정한다.
• 과분산을 제어하는 매개수 θ를 갖는 지수 분산(ED) 분포를 요소 분포로 사용하여 사용자 상호작용의 폭발적 성격을 모델링한다.
• 복합 포아송 구조의 공액성과 확장 가능성을 활용하여 잠재 요인 W와 H에 대한 폐쇄형 후행 업데이트를 유도한다.
• 고분산 카운트 데이터의 더 나은 모델링을 가능하게 하는 새로운 이동형 음이이항분포를 요소 분포로 도입한다.
• 희소하고 과분산된 데이터를 다루기 위해 가변 매개수화된 변분 추론을 사용하여 실제 데이터셋에 모델을 적용한다.
• dcPF가 각각 θ → θ_raw 및 θ → θ_bin 근처에서 원시 데이터에 대해 PF로, 이진화된 데이터에 대해도 PF로 수렴함을 보여준다.

실험 결과

연구 질문

• RQ1 원시 카운트 데이터를 추천 시스템에서 효과적으로 모델링하면서도 확장 가능성과 과분산에 대한 적응성을 유지할 수 있는 통합 인자분해 프레임워크는 가능한가?
• RQ2 dcPF는 원시 및 이진화된 데이터에 적용된 포아송 인자분해를 어떻게 일반화하는가? 이 일반화의 이론적 한계는 무엇인가?
• RQ3 요소 분포는 폭발적이고 과분산된 사용자 행동을 어떻게 포착하는가? 조합론적 구조, 예를 들어 제3종 스탈링 수(Lah 수)는 이와 어떤 관련이 있는가?
• RQ4 이동형 음이이항분포와 같은 새로운 요소 분포는 기존 선택지에 비해 고분산 카운트 데이터의 모델링 성능을 향상시킬 수 있는가?
• RQ5 dcPF는 추천 정확도와 데이터 분산에 대한 적응성 측면에서 기존 PF보다 원시 또는 이진화된 데이터에서 얼마나 뛰어나게 성능을 발휘하는가?

주요 결과

• 세 개의 실제 데이터셋(Taste Profile, NIPS, Last.fm)에서 dcPF는 원시 및 이진화된 데이터 모두에서 PF보다 더 뛰어난 추천 성능을 달성했으며, 평균 역순위(MRR) 개선 폭이 최대 10%에 이르렀다.
• 모델의 자연 매개수 θ(log(p))는 비영인 카운트의 분산-평균 비율과 강하게 상관되며, 이는 과분산에 대한 적응성을 입증한다. 예를 들어, Last.fm의 경우 17.0이다.
• 수학적으로 dcPF는 θ → θ_raw일 때(κᵀψ(θ) → -∞) 원시 데이터에 대해 PF로 수렴하고, θ → θ_bin일 때(κᵀψ(θ) → +∞) 이진화된 데이터에 대해도 PF로 수렴함을 증명했다.
• 이동형 음이이항분포를 요소 분포로 사용함으로써 고분산 데이터의 모델링이 향상되었으며, 세 데이터셋의 경우 학습된 p 값은 각각 0.87, 0.86, 0.90이었다.
• 이 프레임워크는 조합론과 새로운 연결 고리를 형성하였으며, 모델의 정규화 상수들이 원소의 순서 있는 분할을 세는 제3종 스탈링 수(Lah 수)와 관련이 있음을 보여주었다.
• 폐쇄형 업데이트와 비영인 항목에만 의존하는 점을 고려할 때, 추론 알고리즘이 기존 PF 방법의 효율성을 유지한다.