[論文レビュー] Bayesian matrix completion: prior specification and consistency

Pierre Alquier, Vincent Cottet+2 more|arXiv (Cornell University)|Jun 5, 2014

Sparse and Compressive Sensing Techniques参考文献 29被引用数 5

ひとこと要約

本稿は、低ランク行列推定における特異値に対する逆ガンマ分布、ガンマ分布、離散分布の3つの共役事前分布を提案・分析することで、ベイズ的行列補完を調査している。離散事前分布に対して事後一致性を確立し、これらの事前分布の下での最尤事後確率推定が核ノルム最小化に対応することを示しており、広く用いられる頻度主義的手法にベイズ的解釈を与える。

ABSTRACT

Low-rank matrix estimation from incomplete measurements recently received increased attention due to the emergence of several challenging applications, such as recommender systems; see in particular the famous Netflix challenge. While the behaviour of algorithms based on nuclear norm minimization is now well understood [SRJ05, SS05, CP09, CT09, CR09, Gro11, RT11, Klo11, KLT11], an as yet unexplored avenue of research is the behaviour of Bayesian algorithms in this context. In this paper, we briefly review the priors used in the Bayesian literature for matrix completion. A standard approach is to assign an inverse gamma prior to the singular values of a certain singular value decomposition of the matrix of interest; this prior is conjugate. However, we show that two other types of priors (again for the singular values) may be conjugate for this model: a gamma prior, and a discrete prior. Conjugacy is very convenient, as it makes it possible to implement either Gibbs sampling or Variational Bayes. Interestingly enough, the maximum a posteriori for these dierent priors is related to the nuclear norm minimization problems. Our main contribution is to prove the consistency of the posterior expectation when the discrete prior is used. We also compare all these priors on simulated datasets, and on the classical MovieLens and Netflix datasets.

研究の動機と目的

• 低ランク行列補完におけるベイズ的アルゴリズムの理論的・実用的挙動を調査し、特に特異値の事前分布の指定に焦点を当てる。
• 特異値のための共役事前分布を同定し、ギブスサンプリングまたは変分ベイズによる効率的な事後分布計算を可能にする。
• 特異値に離散事前分布を用いた場合の事後期待値の理論的一貫性を確立する。
• シミュレーテッドデータおよび実世界のデータセット（MovieLens、Netflixなど）を用いて、異なる事前分布（逆ガンマ分布、ガンマ分布、離散分布）の性能を比較する。

提案手法

• 特異値分解（SVD）を用いて、行列の特異値に逆ガンマ分布、ガンマ分布、または離散事前分布を割り当てる。
• 3つの事前分布がすべて行列補完モデルに対して共役であることを示し、効率的な事後分布計算を可能にする。
• 共役性のおかげで、ギブスサンプリングまたは変分ベイズを用いて事後分布推論を実施し、スケーラブルな計算を実現する。
• 各事前分布の下での最尤事後確率（MAP）推定器を導出し、極限において核ノルム最小化と等価であることを示す。
• 離散事前分布を用いた場合の事後期待値の事後一致性を証明し、漸近的正しさを確立する。
• シミュレーテッドデータおよび実データセット（MovieLens、Netflix）を用いて、異なる事前分布の性能を経験的に比較する。

実験結果

リサーチクエスチョン

• RQ1 特異値にどのような事前分布を設定すると、ベイズ的行列補完において共役事後分布が得られるか？
• RQ2 これらの事前分布の下での最尤事後確率推定は、核ノルム最小化とどのように関係するか？
• RQ3 特異値に離散事前分布を用いた場合、事後期待値は一貫性を示すか？
• RQ4 実世界の推薦データセットにおける予測性能の観点から、異なる事前分布はどのように比較されるか？

主な発見

• 特異値に逆ガンマ分布、ガンマ分布、離散分布を設定した場合、いずれも行列補完尤度に対して共役であり、効率的な事後分布計算が可能である。
• 3つの事前分布の下での最尤事後確率推定は、いずれも核ノルム最小化の一種に対応しており、ベイズ的および頻度主義的手法を結びつける。
• 特異値に離散事前分布を用いた場合、事後期待値の事後一致性が正式に証明された。
• シミュレーテッドデータおよび実データセット（MovieLens、Netflix）を用いた経験的比較により、離散事前分布が優れた予測性能を示し、他の事前分布と同等またはそれ以上の性能を発揮することがわかった。
• 離散事前分布の共役構造のおかげで、ギブスサンプリングまたは変分ベイズによる安定的かつ効率的な推論が可能である。
• 結果から、離散事前分布は、標準的な事前分布の理論的裏付けと実用的有効性を兼ね備えた代替手段であると示唆される。