[논문 리뷰] Bayesian matrix completion: prior specification and consistency

Pierre Alquier, Vincent Cottet외 2명|arXiv (Cornell University)|2014. 06. 05.

Sparse and Compressive Sensing Techniques참고 문헌 29인용 수 5

한 줄 요약

이 논문은 저질서 행렬 추정에서 특이값에 대한 공액 사전분포로 역감마, 감마, 이산 분포를 제안하고 분석함으로써 베이지안 행렬 완성에 대해 연구한다. 이는 이산 사전분포에 대해 사후 일致성을 확립하고, 이러한 사전분포 하에서의 사후 최대우도 추정치가 핵노름 최소화와 일치함을 보여, 널리 사용되는 빈도주의 방법에 대한 베이지안적 해석을 제공한다.

ABSTRACT

Low-rank matrix estimation from incomplete measurements recently received increased attention due to the emergence of several challenging applications, such as recommender systems; see in particular the famous Netflix challenge. While the behaviour of algorithms based on nuclear norm minimization is now well understood [SRJ05, SS05, CP09, CT09, CR09, Gro11, RT11, Klo11, KLT11], an as yet unexplored avenue of research is the behaviour of Bayesian algorithms in this context. In this paper, we briefly review the priors used in the Bayesian literature for matrix completion. A standard approach is to assign an inverse gamma prior to the singular values of a certain singular value decomposition of the matrix of interest; this prior is conjugate. However, we show that two other types of priors (again for the singular values) may be conjugate for this model: a gamma prior, and a discrete prior. Conjugacy is very convenient, as it makes it possible to implement either Gibbs sampling or Variational Bayes. Interestingly enough, the maximum a posteriori for these dierent priors is related to the nuclear norm minimization problems. Our main contribution is to prove the consistency of the posterior expectation when the discrete prior is used. We also compare all these priors on simulated datasets, and on the classical MovieLens and Netflix datasets.

연구 동기 및 목표

• 저질서 행렬 완성에서 베이지안 알고리즘의 이론적 및 실용적 행동을 탐구하며, 특히 특이값에 대한 사전분포 설정에 집중한다.
• 특이값에 대해 공액 사전분포를 식별하여 기저 분해나 변분 추론을 통한 효율적 사후 계산을 가능하게 한다.
• 특이값에 이산 사전분포를 사용할 경우 사후 기대값의 이론적 일치성을 확립한다.
• MovieLens 및 Netflix와 같은 시뮬레이션 및 실세계 데이터셋에서 다양한 사전분포(역감마, 감마, 이산)의 성능을 비교한다.

제안 방법

• 특이값 분해(SVD)를 통해 행렬의 특이값에 역감마, 감마 또는 이산 사전분포를 할당한다.
• 모든 세 사전분포가 행렬 완성 모델에 대해 공액임을 보이며, 이로 인해 효율적 사후 계산이 가능하다.
• 공액성 덕분에 기저 샘플링 또는 변분 베이즈를 사용하여 사후 추론을 수행하며, 확장 가능한 계산이 가능하다.
• 각 사전분포 하에서 사후 최대우도(MAP) 추정치를 유도하고, 그 것이 한계에서 핵노름 최소화와 동치임을 보여준다.
• 이산 사전분포를 사용할 경우 사후 기대값의 사후 일치성을 엄밀히 증명하여 점차적 정확성을 확립한다.
• 시뮬레이션 데이터와 실세계 데이터셋(MovieLens, Netflix)을 활용하여 다양한 사전분포의 성능을 실증적으로 비교한다.

실험 결과

연구 질문

• RQ1 특이값에 대해 어떤 사전분포가 베이지안 행렬 완성에서 공액 사후분포를 유도하는가?
• RQ2 이러한 사전분포 하에서의 사후 최대우도 추정치는 핵노름 최소화와 어떻게 관련이 있는가?
• RQ3 특이값에 이산 사전분포를 사용할 경우 사후 기대값은 일치하는가?
• RQ4 실세계 추천 데이터셋에서 다양한 사전분포는 예측 성능 측면에서 어떻게 비교되는가?

주요 결과

• 특이값에 대한 역감마, 감마, 이산 사전분포는 모두 행렬 완성 가능성에 대해 공액이며, 이는 효율적 사후 계산을 가능하게 한다.
• 세 사전분포 각각에 대해 사후 최대우도 추정치는 핵노름 최소화의 한 형태와 일치하며, 베이지안 접근과 빈도주의 접근을 연결한다.
• 특이값에 이산 사전분포를 사용할 경우 사후 기대값의 사후 일치성이 엄밀히 증명된다.
• 시뮬레이션 및 실세계 데이터셋(MovieLens, Netflix)에 대한 실증적 비교 결과, 이산 사전분포는 타 사전분포와 비교해 강력한 예측 성능을 보이며, 그에 못지않게 우수하거나 더 낫다.
• 이산 사전분포의 공액 구조는 기저 샘플링 또는 변분 베이즈를 통한 안정적이고 효율적인 추론을 가능하게 한다.
• 결과적으로 이산 사전분포는 표준 사전분포에 대한 이론적으로 탄탄하고 실용적으로 효과적인 대안을 제공한다.