[논문 리뷰] Bayesian matrix completion: prior specification

Pierre Alquier, Vincent Cottet외 2명|arXiv (Cornell University)|2014. 06. 05.

Sparse and Compressive Sensing Techniques참고 문헌 9인용 수 11

한 줄 요약

이 논문은 베이지안 행렬 완성에서 계산 효율성과 뛰어난 성능을 보이는 새로운 공액 사전분포인 감마분포와 이산분포를 제안하고 평가한다. 이 사전분포 하에서의 사후 최대우도(MLP) 추정치가 핵노름 정규화 추정기와 일치함을 보이며, 시뮬레이션 및 MovieLens, Netflix와 같은 실세계 데이터셋에서 널리 사용되는 역감마분포 사전분포와 비교해도 우수하거나 유사한 성능을 보인다.

ABSTRACT

Low-rank matrix estimation from incomplete measurements recently received increased attention due to the emergence of several challenging applications, such as recommender systems; see in particular the famous Netflix challenge. While the behaviour of algorithms based on nuclear norm minimization is now well understood, an as yet unexplored avenue of research is the behaviour of Bayesian algorithms in this context. In this paper, we briefly review the priors used in the Bayesian literature for matrix completion. A standard approach is to assign an inverse gamma prior to the singular values of a certain singular value decomposition of the matrix of interest; this prior is conjugate. However, we show that two other types of priors (again for the singular values) may be conjugate for this model: a gamma prior, and a discrete prior. Conjugacy is very convenient, as it makes it possible to implement either Gibbs sampling or Variational Bayes. Interestingly enough, the maximum a posteriori for these different priors is related to the nuclear norm minimization problems. We also compare all these priors on simulated datasets, and on the classical MovieLens and Netflix datasets.

연구 동기 및 목표

• 베이지안 행렬 완성에 대한 공액 사전분포를 조사하고 확장하여 계산의 용이성과 추정 정확도를 향상시키는 것.
• 기존의 표준 역감마분포 사전분포와 새로 제안된 감마분포 및 이산분포 사전분포의 성능을 낮은 질서의 행렬 복구 문제에서 비교하는 것.
• 이 사전분포 하에서의 MAP 추정치와 핵노름 정규화 방법 간의 이론적 및 실증적 연관성을 확립하는 것.
• 실세계 추천 시스템에서 알려지지 않은 행렬 질서에 대한 이 사전분포의 강건성과 적응성 평가.
• Netflix와 MovieLens와 같은 대규모 환경에서의 베이지안 행렬 완성에 있어 사전분포 선택에 대한 실용적 지침 제공.

제안 방법

• 행렬 분해의 특이값에 대해 감마분포와 이산분포 사전분포를 제안하며, 이는 매트릭스 완성 모델 하에서 우도와 공액성을 유지한다.
• 이 사전분포 하에서의 결합 사후분포를 유도하여 효율적인 기브스 샘플링 또는 변분베이즈(VB) 추론이 가능하도록 한다.
• 감마분포 및 이산분포 사전분포 하에서의 MAP 추정치가 핵노름 정규화 최소제곱 추정기와 일치함을 보여준다.
• 수렴을 대규모 데이터셋에서 모니터링하기 위해 MCMC 및 변분베이즈 알고리즘을 사용하여 사후분포를 근사한다.
• 행렬이 질서 $ r \leq K $ 인 $\theta^0 = M^0 (N^0)^T$ 형태로 분해되는 낮은 질서의 행렬 분해 모델을 사용한다.
• 계층적 구조를 통해 특이값에 사전분포를 적용하여 공액성과 확장 가능한 계산을 보장한다.

실험 결과

연구 질문

• RQ1 표준 역감마분포 외의 다른 공액 사전분포를 베이지안 행렬 완성에 개발할 수 있는가? 이는 계산의 용이성을 보장할 수 있는가?
• RQ2 감마분포 및 이산분포 사전분포의 MAP 추정치는 역감마분포 사전분포의 추정치와 비교해 추정 정확도와 수렴 속도 측면에서 어떻게 다를까?
• RQ3 새로운 사전분포는 시뮬레이션 및 실세계 환경에서 행렬의 진짜 기저 질서에 얼마나 잘 적응하는가?
• RQ4 MovieLens 및 Netflix와 같은 대규모 데이터셋에서 이 사전분포의 실증적 성능은 기존 방법과 비교해 어떻게 되는가?
• RQ5 노이즈가 있거나 데이터가 불완전한 환경에서 사전분포의 선택이 베이지안 행렬 완성 추정기의 일관성과 강건성에 크게 영향을 미치는가?

주요 결과

• 감마분포 및 이산분포 사전분포는 핵노름 정규화 추정기와 동일한 MAP 추정치를 제공함으로써 베이지안 접근과 빈도주의 접근을 연결한다.
• 진짜 질서 $ r=2 $ 인 시뮬레이션 데이터셋에서 감마분포 및 이산분포 사전분포는 평균제곱오차 측면에서 역감마분포 사전분포를 능가했다.
• 역감마분포 사전분포는 MCMC 수렴 속도가 느리고 꼬리가 두꺼워 성능에 악영향을 미쳤다.
• MovieLens 100K 데이터셋에서 기브스 샘플링을 사용할 경우 이산분포 및 역감마분포 사전분포 모두 RMSE가 0.92를 기록했으며, VB 역시 유사한 결과를 얻었다.
• 더 큰 데이터셋(100만 건 및 1,000만 건의 평가)에서는 변분베이즈 알고리즘과 함께 역감마분포 사전분포가 각각 RMSE 0.84 및 0.79를 달성했으며, 20회 이내에 수렴했다.
• 이산분포 사전분포 및 감마분포 사전분포는 진짜 질서에 대해 강력한 적응성을 보였으며, $ K $ 를 크게 설정했을 때도 성능을 유지했다. 반면 역감마분포 사전분포는 혼합 속도가 느려져 성능에 악영향을 미쳤다.