[논문 리뷰] Incorporating Side Information in Probabilistic Matrix Factorization with Gaussian Processes

Ryan P. Adams, George E. Dahl외 1명|arXiv (Cornell University)|2014. 08. 09.

Gaussian Processes and Bayesian Inference참고 문헌 22인용 수 52

한 줄 요약

이 논문은 공변수 공간(예: 시간, 위치, 사용자/영화 속성) 위에서 잠재 요인을 부드러운 함수로 모델링함으로써 측정된 보조 정보(예: 시간, 위치 또는 사용자/영화 속성)를 통합하는 가우시안 프로세스 강화 확률적 행렬 분해(PMF) 프레임워크를 제안한다. 공변수 공간을 따라 잠재 요인의 부드러운 함수를 모델링함으로써, GP 사전분포를 사용해 관련된 PMF 문제들 간의 정보 공유를 유도함으로써, 협업 필터링 작업에서 예측 정확도를 향상시킨다. 표준 PMF에 비해 유의미한 성능 향상을 보이며, 프로페셔널 농구 경기 스코어 예측에 적용된 바 있다.

ABSTRACT

Probabilistic matrix factorization (PMF) is a powerful method for modeling data associ- ated with pairwise relationships, Finding use in collaborative Filtering, computational bi- ology, and document analysis, among other areas. In many domains, there are additional covariates that can assist in prediction. For example, when modeling movie ratings, we might know when the rating occurred, where the user lives, or what actors appear in the movie. It is difficult, however, to incorporate this side information into the PMF model. We propose a framework for incorporating side information by coupling together multi- ple PMF problems via Gaussian process priors. We replace scalar latent features with func- tions that vary over the covariate space. The GP priors on these functions require them to vary smoothly and share information. We apply this new method to predict the scores of professional basketball games, where side information about the venue and date of the game are relevant for the outcome.

연구 동기 및 목표

• 시간, 위치 또는 사용자/영화 인구통계학적 특성과 같은 보조 공변수를 통합하는 데에 표준 확률적 행렬 분해(PMF)의 한계를 해결하기 위해.
• 구조화된 보조 정보를 활용하여 쌍별 관계 모델링의 예측 정확도를 향상시키기 위해.
• 잠재 요인에 대해 공유된 가우시안 프로세스 사전분포를 사용하여 다수의 PMF 문제를 통합하는 프레임워크를 개발하기 위해.
• 날짜 또는 경기장과 같은 공변수 공간을 따라 잠재 특징의 부드럽고 정보 공유 가능한 표현을 가능하게 하기 위해.
• 실제 데이터, 특히 스포츠 결과 예측에서 이 방법의 효과성을 입증하기 위해.

제안 방법

• 공변수(예: 날짜, 경기장)의 함수로 표현된 스칼라 잠재 특징을 PMF의 잠재 요인으로 대체한다. 이 함수들은 가우시안 프로세스로 모델링된다.
• 공변수 공간을 따라 부드러움과 공통된 구조를 강제하기 위해 GP 사전분포를 적용한다.
• 다양한 데이터 인스턴스 간의 정보 공유를 가능하게 하기 위해 잠재 요인 함수들에 대한 공동 GP 사전분포를 사용한다.
• GP 분포를 가진 잠재 요인을 사용하는 계층적 베이지안 프레임워크로 모델을 구성한다.
• 대규모 데이터셋에 대응하기 위해 변분 베이즈 또는 기대값 최적화를 사용해 근사 추론을 수행한다.
• 측정된 보조 정보에 적응하기 위해 우도 최대화를 통해 초모수를 최적화한다.

실험 결과

연구 질문

• RQ1 측정된 보조 정보(예: 시간 또는 위치)를 따라 잠재 요인이 부드럽게 변화하는 것을 효과적으로 모델링하기 위해 가우시안 프로세스 사전분포를 사용할 수 있는가?
• RQ2 측정된 보조 정보를 GP를 통해 통합함으로써, 표준 PMF에 비해 행렬 분해의 예측 성능이 얼마나 향상되는가?
• RQ3 관련된 PMF 문제들 간에 공유된 GP 사전분포가 일반화 능력 향상과 과적합 방지를 얼마나 효과적으로 향상시키는가?
• RQ4 이 프레임워크는 구조화된 공변수를 가진 실세계 협업 필터링 작업에 효과적으로 적용될 수 있는가?
• RQ5 측정된 보조 정보가 스포츠 결과 모델링에서 예측 정확도에 미치는 영향은 어떠한가?

주요 결과

• 제안된 방법은 표준 PMF에 비해 프로페셔널 농구 경기 스코어 예측에서 예측 정확도를 유의미하게 향상시켰다.
• 경기장과 날짜와 같은 보조 정보를 통합함으로써 예측 성능 향상이 명확하게 관측되었다.
• GP 기반의 잠재 요인 결합은 관련된 경기들 간의 효과적인 정보 공유를 가능하게 하여 일반화 능력을 향상시켰다.
• 구조화된 공변수를 가진 실세계 데이터셋에 대해 모델이 강건성과 확장성을 입증하였다.
• GP 사전분포를 사용함으로써 공변수 공간을 따라 잠재 요인의 부드럽고 해석 가능한 표현이 가능했다.
• 실험 결과는 보조 정보를 적절히 모델링할 경우 예측 성능 향상에 기여한다는 점을 확인하였다.