[논문 리뷰] Hierarchical Compound Poisson Factorization

Mehmet Emin Basbug, Barbara E. Engelhardt|arXiv (Cornell University)|2016. 04. 13.

Recommender Systems and Techniques참고 문헌 23인용 수 13

한 줄 요약

이 논문은 계층적 감마-포아송 구조를 사용하여 희소성 모델링과 반응 모델링을 분리하는 확장 가능한 베이지안 행렬 분해 모델인 계층적 복합 포아송 인자분해(Hierarchical Compound Poisson Factorization, HCPF)를 소개한다. 기존의 계층적 포아송 인자분해(Hierarchical Poisson Factorization, HPF)는 극도의 희소성 하에서 반응값이 1에 집중되도록 강제하는 반면, HCPF는 이진, 이산, 연속, 영이 과잉된 연속 반응을 모두 지원하여 12개의 실제 희소 데이터셋에서 로그우도와 AUC 성능을 크게 향상시킨다.

ABSTRACT

Non-negative matrix factorization models based on a hierarchical Gamma-Poisson structure capture user and item behavior effectively in extremely sparse data sets, making them the ideal choice for collaborative filtering applications. Hierarchical Poisson factorization (HPF) in particular has proved successful for scalable recommendation systems with extreme sparsity. HPF, however, suffers from a tight coupling of sparsity model (absence of a rating) and response model (the value of the rating), which limits the expressiveness of the latter. Here, we introduce hierarchical compound Poisson factorization (HCPF) that has the favorable Gamma-Poisson structure and scalability of HPF to high-dimensional extremely sparse matrices. More importantly, HCPF decouples the sparsity model from the response model, allowing us to choose the most suitable distribution for the response. HCPF can capture binary, non-negative discrete, non-negative continuous, and zero-inflated continuous responses. We compare HCPF with HPF on nine discrete and three continuous data sets and conclude that HCPF captures the relationship between sparsity and response better than HPF.

연구 동기 및 목표

• 희소성과 반응 모델링이 밀접하게 연결되어 있어 극도의 희소성 하에서 반응값이 1에 집중되는 경향이 있는 계층적 포아송 인자분해(Hierarchical Poisson Factorization, HPF)의 한계를 해결하기 위해.
• 이진, 비음수 이산, 비음수 연속, 영이 과잉된 연속 등의 다양한 반응 유형을 모델링할 수 있는 유연하고 확장 가능한 행렬 분해 모델을 개발하며, HPF의 감마-포아송 구조를 유지하기 위해.
• 협업 필터링에서 흔히 볼 수 있는 고차원적이고 극도로 희소한 데이터셋에서 반응값과 누락 패턴 양측의 예측 성능을 향상시키기 위해.
• 반응의 존재 여부(non-missingness)와 반응 크기 간의 관계를 더 잘 표현하기 위해 희소성 모델링과 반응 모델링을 분리하는 것이 효과적임을 입증하기 위해.

제안 방법

• HCPF는 잠재 요인들의 복합 포아송 합으로 반응을 모델링하며, 각 요인의 기여는 감마 분포로 설정된 비율을 가진 포아송 분포를 따르므로, 사용자 및 항목의 활동을 장꼬리 분포로 모델링할 수 있다.
• 희소성 모델은 별도의 베르누이 과정을 도입하여 입력이 관측되었는지 여부를 결정함으로써 반응 분포와 독립적으로 명시적으로 분리된다.
• 반응 분포는 베르누이, 포아송, 감마 또는 영이 과잉된 연속 분포 등으로 다소 자유롭게 지정 가능하지만, 희소성 모델은 여전히 감마-포아송 구조를 유지하여 계산의 타당성을 유지한다.
• 확장 가능한 사후 분포 근사의 목적으로 변분 추론을 사용하여 대규모 희소 행렬에서의 효율적 학습이 가능하다.
• 반응은 0을 제외한 복합 포아송 분포를 사용하며, 수렴 정리에 따르면 희소성이 증가할수록 HPF 하에서 반응 분포가 1에 수렴함을 보여주며, 이는 HCPF에서의 분리 필요성을 정당화한다.
• HCPF는 누락된 항목을 포함한 전체 행렬에서 학습되므로, 희소성과 반응 패턴을 함께 학습할 수 있으며, HPF는 일반적으로 누락되지 않은 항목들만으로 학습되기 때문에 이와는 다르다.

실험 결과

연구 질문

• RQ1 희소성 메커니즘(누락 여부)과 반응 분포를 분리하면서도 확장성과 해석 가능성을 유지할 수 있는 행렬 인자분해 모델이 존재하는가?
• RQ2 희소성과 반응 모델링을 분리하면 극도로 희소한 데이터에서 반응 값과 누락 패턴에 대한 예측 성능이 향상되는가?
• RQ3 극도의 희소성 하에서 HCPF는 HPF보다 비이진, 연속, 또는 영이 과잉된 반응을 더 잘 모델링할 수 있는가?
• RQ4 HCPF는 누락-무작위( Missing-at-Random)를 가정하는 모델보다 사용자/항목 활동(비누락 여부)과 반응 크기 간의 관계를 더 잘 포착할 수 있는가?
• RQ5 HCPF를 전체 행렬(누락 항목 포함)에서 학습하는 것이 HPF를 비누락 항목들만으로 학습하는 것보다 더 높은 성능을 낼 수 있는가?

주요 결과

• HCPF는 9개의 이산 및 3개의 연속 데이터셋에서 테스트 로그우도에서 HPF를 크게 능가하여 반응 분포 모델링 성능이 향상됨을 보였다.
• HCPF-BI(베르누이 반응)는 MovieLens를 제외한 모든 평점 데이터셋에서 HPF를 능가했으며, HCPF-IG(감마 반응)는 WordPress와 Tencent와 같은 소셜 미디어 데이터셋에서 최고의 성능을 기록했다.
• HCPF는 12개 데이터셋 중 10개에서 HPF보다 누락 예측에 대해 더 높은 AUC를 기록했으며, HPF는 이 작업을 위해 특별히 설계되었음에도 불구하고, 더 나은 반응 모델링이 희소성 예측 성능 향상에 기여함을 보여주었다.
• HCPF를 전체 행렬에서 학습하는 것이 비누락 항목들만으로 학습하는 HPF보다 더 높은 성능을 낸다. 이는 희소성과 반응 패턴을 함께 모델링하는 것이 더 효과적임을 시사한다.
• 수렴 정리에 따르면, HPF 하에서 희소성이 증가할수록 반응 분포가 1에 수렴하는 것으로 증명되었으며, 이는 HCPF에서의 분리가 필수적임을 정당화한다.
• HCPF의 반응 모델링 유연성 덕분에 실제 세계의 관계를 포착할 수 있었는데, 예를 들어 더 많이 본 영화일수록 평점이 높거나, 더 많은 팔로워를 가진 블로그일수록 참여도가 높다는 관계를 모델링할 수 있었으며, 이는 HPF가 이를 성취하지 못했다.