[논문 리뷰] Collaborative Filtering with Side Information: a Gaussian Process Perspective

Hyunjik Kim, Xiaoyu Lu외 2명|arXiv (Cornell University)|2016. 05. 23.

Gaussian Processes and Bayesian Inference참고 문헌 24인용 수 4

한 줄 요약

이 논문은 협업 필터링에서 측면 정보를 통해 사용자 및 아이템 유사성을 모델링하기 위해 가우시안 프로세스 회귀와 저질랭크 터커 텐서 분해를 통합한 새로운 베이지안 비모수 모델인 터커 가우시안 프로세스(TGP)를 제안한다. GP 가중치 텐서를 터커 분해를 통해 근사화함으로써 TGP는 선형 이하의 스케일링과 향상된 일반화 성능를 달성하며, 대규모 데이터에서 표준 GP 및 전 Rank 모델보다 우수한 성능을 보인다. 이는 협업 필터링 및 분리 가능한 회귀 작업 모두에서 성립한다.

ABSTRACT

We tackle the problem of collaborative filtering (CF) with side information, through the lens of Gaussian Process (GP) regression. Driven by the idea of using the kernel to explicitly model user-item similarities, we formulate the GP in a way that allows the incorporation of low-rank matrix factorisation, arriving at our model, the Tucker Gaussian Process (TGP). Consequently, TGP generalises classical Bayesian matrix factorisation models, and goes beyond them to give a natural and elegant method for incorporating side information, giving enhanced predictive performance for CF problems. Moreover we show that it is a novel model for regression, especially well-suited to grid-structured data and problems where the dependence on covariates is close to being separable.

연구 동기 및 목표

• 측면 정보를 협업 필터링에 효과적으로 통합하면서도 가우시안 프로세스 모델의 유연성을 유지하는 데 도전한다.
• 기존의 행렬 분해 기법과 협업 필터링에서의 가우시안 프로세스 회귀 간 격차를 메운다.
• 베이지안 행렬 분해를 일반화하고 사용자 및 아이템의 측면 정보를 효과적으로 활용할 수 있는 확장 가능한 GP 기반 모델을 개발한다.
• 분리 가능하고 격자 구조를 가진 데이터에 대해 터커 분해를 GP 회귀의 정규화 요소로 사용할 수 있는지 탐색한다.
• 선형 이하의 계산 스케일링을 통해 대규모 협업 필터링 데이터셋에서 효율적인 추론을 가능하게 한다.

제안 방법

• 모델은 가우시안 프로세스의 가중치 공간 시각화를 사용하여, GP 샘플을 측면 정보에서 유도된 특징 벡터와 무작위 가중치 텐서의 곱으로 표현한다.
• 고차원의 가중치 텐서는 터커 분해를 통해 근사화되어 파rameter 수를 감소시키고 확장 가능한 추론을 가능하게 한다.
• 결과적으로 유도된 터커 가우시안 프로세스(TGP)는 각각 터커 분해의 모드에 해당하는 분리 가능한 성분들의 합으로 평가 함수를 모델링한다.
• 확장 가능한 학습을 위해 확률적 경량 최하강법을 사용하며, 이는 수백만 개의 평가가 포함된 대규모 협업 필터링 문제에 적용 가능하다.
• 일반적인 커널 함수의 경우, 커널 함수를 근사하기 위해 무작위 특징 매핑(RFF 등)을 사용하고, 격자 구조를 가진 데이터의 경우 정확한 콜레스키 분해를 사용한다.
• 추론은 스탠에서 NUTS를 사용한 하미르톤 몬테카를로(HMC)를 통해 수행되며, 수렴 여부는 게르만-루빈 통계량과 유효 표본 크기를 통해 모니터링된다.

실험 결과

연구 질문

• RQ1 저랭크 구조를 활용함으로써 가우시안 프로세스 모델을 대규모 협업 필터링 데이터셋에 효과적으로 스케일링할 수 있는가?
• RQ2 사용자 및 아이템에 대한 측면 정보를 GP 프레임워크에 자연스럽게 통합하여 예측 성능을 향상시킬 수 있는가?
• RQ3 GP 가중치 텐서의 터커 분해가 회귀 작업에서 효과적인 정규화 요소로 작용하여 일반화 성능을 향상시키는가?
• RQ4 TGP는 분리 가능하고 격자 구조를 가진 회귀 문제에서 표준 GP 및 전 Rank GP 모델을 초월할 수 있는가?
• RQ5 TGP 프레임워크는 측면 정보에 따라 의존하는 커널 함수를 통해 사용자-아이템 유사성을 모델링할 수 있는가?

주요 결과

• 캘리포니아 주택 가격 데이터셋에서 n=25, 50, 100, 200의 모든 특징 차원에서 r=5인 TGP는 표준 GP 및 전 Rank GP보다 일관되게 낮은 테스트 RMSE를 기록했다.
• n≥100일 경우, r=10인 TGP는 테스트 RMSE에서 표준 GP를 능가했으며, 이는 정규화 덕분에 일반화 성능 향상이 이루어졌음을 시사한다.
• TGP는 GP보다 높은 훈련 RMSE를 보였는데, 이는 터커 분해의 정규화 효과로 인해 과적합에 덜 민감하다는 것을 의미한다.
• TGP 예측의 가산 성분들은 명확한 공간 패턴을 보였으며, 서로 다른 성분들이 보완적인 영역(예: 베이 지역 대비 로스앤젤레스)을 학습하는 것으로 나타나, 국소적 구조를 효과적으로 포착할 수 있음을 확인했다.
• 수렴 진단 결과, 300회 반복 이후 TGP는 완전히 혼합되지 않은 것으로 나타나, 더 긴 웜업 단계가 추가 성능 향상에 기여할 수 있음을 시사한다.
• TGP는 격자 구조를 가진 시공간 데이터에서 뛰어난 성능을 보였으며, 이는 분리 가능한 공변량을 가진 문제에서의 효과성을 확인한다.