[논문 리뷰] Negative Binomial Matrix Factorization for Recommender Systems

Olivier Gouvert, Thomas Oberlin외 1명|arXiv (Cornell University)|2018. 01. 05.

Bayesian Methods and Mixture Models참고 문헌 28인용 수 5

한 줄 요약

이 논문은 과분산(count data)을 모델링하기 위해 잠재 노출 변수를 도입한 확률적 행렬 분해 모델인 음이항 행렬 분해(Negative Binomial Matrix Factorization, NBMF)를 제안한다. NBMF는 사용자-아이템 상호작용을 음이항분포로 모델링하여 이진화로 인한 정보 손실을 방지하고, Taste Profile 데이터셋에서 표준 PF와 이진화된 PF를 모두 초월하는 뛰어난 추천 정확도를 달성한다.

ABSTRACT

We introduce negative binomial matrix factorization (NBMF), a matrix factorization technique specially designed for analyzing over-dispersed count data. It can be viewed as an extension of Poisson matrix factorization (PF) perturbed by a multiplicative term which models exposure. This term brings a degree of freedom for controlling the dispersion, making NBMF more robust to outliers. We show that NBMF allows to skip traditional pre-processing stages, such as binarization, which lead to loss of information. Two estimation approaches are presented: maximum likelihood and variational Bayes inference. We test our model with a recommendation task and show its ability to predict user tastes with better precision than PF.

연구 동기 및 목표

• 암시적 추천 시스템에서 흔히 발생하는 과분산, 희박성, 급격한 피크를 보이는 카운트 데이터를 다루는 데에 한계가 있는 포isson 행렬 분해(Poisson Factorization, PF)의 문제를 해결하기 위해.
• 상호작용 빈도 정보를 손실하는 사전 처리 단계인 이진화가 필요 없도록 하기 위해.
• 잠재 노출 변수를 통해 국소적 변동성을 포착하는 유연한 행렬 분해 모델을 도입하기 위해.
• 실제 암시적 피드백 데이터에서 NBMF가 PF보다 더 정확하고 강력한 추천을 제공하는지 확인하기 위해.

제안 방법

• NBMF는 평균 $[\mathbf{W}\mathbf{H}^T]_{ui}$ 와 분산 매개변수 $\alpha$ 를 가진 음이항분포로 사용자-아이템 상호작용 $ y_{ui} $ 를 모델링하며, 이는 분산이 평균을 초과할 수 있음을 허용한다.
• 모델은 계층적 포아송-감마 혼합으로 제시된다: $ a_{ui} \sim \mathcal{G}(\alpha, \alpha) $, $ y_{ui} \mid a_{ui} \sim \text{Pois}(a_{ui} [\mathbf{W}\mathbf{H}^T]_{ui}) $, 여기서 $ \mathbf{A} $ 는 국소적 노출 효과를 캡처한다.
• 최대우도추정과 변분베이즈 추론을 사용하여 후행분포를 근사하는 두 가지 추정 방법을 사용한다.
• 노출 변수 $ a_{ui} $ 는 사용자가 아이템에 노출된 정도로 해석되며, 값이 $<1$ 이면 부족한 노출을, $>1$ 이면 과다 소비를 의미한다.
• 모델은 이진화 없이 원본 카운트 데이터로 훈련되어 상호작용 빈도 정보를 유지한다.
• 추천은 기대값 $ [\mathbf{W}\mathbf{H}^T]_{ui} $ 를 기반으로 생성되며, 노출 값은 아이템 우선순위 결정에 영향을 준다.

실험 결과

연구 질문

• RQ1 과분산된 사용자-아이템 상호작용 빈도를 고려한 행렬 분해 모델이 추천 정확도를 향상시킬 수 있는가?
• RQ2 상호작용 빈도를 이진화하는 대신 연속형 잠재 변수로 노출를 모델링하면 성능 향상이 이루어지는가?
• RQ3 분산 매개변수 $ \alpha $ 의 포함이 암시적 피드백 데이터에서 노이즈와 이상치에 대한 모델의 강건성에 어떤 영향을 미치는가?
• RQ4 잠재 노출 변수 $ \mathbf{A} $ 는 부족한 소비나 과다 소비와 같은 사용자 행동에 대한 해석 가능한 통찰을 제공할 수 있는가?
• RQ5 실제 카운트 기반 추천 작업에서 NBMF는 NDCG 및 기타 랭킹 메트릭에서 PF를 능가하는가?

주요 결과

• NBMF는 사전 처리 없이도 NDCG 측면에서 표준 포아송 행렬 분해(PF)를 뚜렷이 능가하며, 더 높은 정밀도를 달성한다.
• 특히 높은 임계값 $ s > 1 $ 를 사용할 경우, 이진화된 PF보다 더 뛰어난 성능을 보이며, 낮은 빈도 상호작용에 대한 노이즈에 대한 강건성을 향상시킨다.
• NBMF의 최적의 잠재 요인 수 $ K $ 는 50이며, 이는 이진화된 PF의 20보다 높다. 이는 NBMF가 빈도 값으로부터 더 풍부한 정보를 활용하고 있음을 시사한다.
• 잠재 노출 변수 $ \mathbf{A} $ 는 해석 가능한 통찰을 제공한다: 높은 빈도이지만 $ a_{ui} $ 가 낮은 아이템은 과다 소비된 것으로, 반대로 높은 $ a_{ui} $ 이지만 낮은 빈도의 아이템은 부족한 노출을 받은 것으로 해석된다.
• 탐색적 분석에서 NBMF는 유사 장르(예: The Black Keys를 좋아하는 사용자에게 The Ramones를 추천)의 아이템을 성공적으로 추천하여 일관되고 맥락에 부합하는 추천을 한다.
• 잠재 노출 변수를 통해 분산을 모델링함으로써 포아송 모델에서 고정된 분산을 가정하는 것보다 더 정확하고 강건한 추천이 가능하다는 점을 모델이 입증한다.