[論文レビュー] Bayesian matrix completion: prior specification

Pierre Alquier, Vincent Cottet+2 more|arXiv (Cornell University)|Jun 5, 2014

Sparse and Compressive Sensing Techniques参考文献 9被引用数 11

ひとこと要約

本稿では、ベイジアン行列補完における新しい共役事前分布（ガンマ分布および離散分布）を提案し、その計算効率と優れた性能を評価している。これらの事前分布における最頻後確信度推定（MAP推定）が核ノルム正則化推定器に対応することを示しており、シミュレートデータおよびMovieLensやNetflixなどの実世界のデータセットにおいて、広く用いられる逆ガンマ事前分布と同等または優れた性能を示している。

ABSTRACT

Low-rank matrix estimation from incomplete measurements recently received increased attention due to the emergence of several challenging applications, such as recommender systems; see in particular the famous Netflix challenge. While the behaviour of algorithms based on nuclear norm minimization is now well understood, an as yet unexplored avenue of research is the behaviour of Bayesian algorithms in this context. In this paper, we briefly review the priors used in the Bayesian literature for matrix completion. A standard approach is to assign an inverse gamma prior to the singular values of a certain singular value decomposition of the matrix of interest; this prior is conjugate. However, we show that two other types of priors (again for the singular values) may be conjugate for this model: a gamma prior, and a discrete prior. Conjugacy is very convenient, as it makes it possible to implement either Gibbs sampling or Variational Bayes. Interestingly enough, the maximum a posteriori for these different priors is related to the nuclear norm minimization problems. We also compare all these priors on simulated datasets, and on the classical MovieLens and Netflix datasets.

研究の動機と目的

• ベイジアン行列補完における共役事前分布を調査・拡張し、計算の tractability（取り扱いやすさ）と推定精度を向上させること。
• 標準的な逆ガンマ事前分布と新たに提案されたガンマ分布および離散分布の性能を、低ランク行列回復の文脈で比較すること。
• これらの事前分布におけるMAP推定と核ノルム正則化法との理論的・実験的関連を確立すること。
• 実世界の推薦システムにおける未知の行列ランクに適応する能力や、これらの事前分布の頑健性と適応性を評価すること。
• NetflixやMovieLensのような大規模な設定における、ベイジアン行列補完における事前分布選択の実用的指針を提供すること。

提案手法

• 行列分解における特異値に、ガンマ分布および離散分布の事前分布を導入し、行列補完モデルにおける尤度関数と共役となるように定式化した。
• これらの事前分布下での同時事後分布を導出し、効率的なギブスサンプリングまたは変分ベイズ（VB）推論が可能であることを示した。
• ガンマ分布および離散分布におけるMAP推定が、核ノルム正則化付き最小二乗推定器に対応することを示した。
• MCMCおよび変分ベイズアルゴリズムを用いて事後分布を近似し、大規模データセット上での収束をモニタリングした。
• 行列を $\theta^0 = M^0 (N^0)^T$ と表す低ランク行列分解モデルを採用し、ランク $r \leq K$ を仮定した。
• 階層的構造を用いて特異値に事前分布を適用し、共役性を保ちながらスケーラブルな計算を可能にした。

実験結果

リサーチクエスチョン

• RQ1 標準的な逆ガンマ分布以外の代替的共役事前分布を、ベイジアン行列補完に開発可能か？ その場合、計算の tractability を保証できるか？
• RQ2 ガンマ分布および離散分布のMAP推定は、逆ガンマ分布のそれと比べて推定精度および収束性においてどの程度優れているか？
• RQ3 シミュレートおよび実世界の設定において、これらの新しい事前分布は真の行列ランクにどの程度適応できるか？
• RQ4 MovieLens や Netflix のような大規模データセットにおいて、これらの事前分布の実験的性能は、既存手法と比べてどの程度か？
• RQ5 ノイズが多いまたは不完全な設定において、事前分布の選択がベイジアン行列補完推定量の一貫性および頑健性に顕著に影響を与えるか？

主な発見

• ガンマ分布および離散分布におけるMAP推定は、核ノルム正則化推定器と等価であり、ベイジアン的手法と頻度主義的手法の間の橋渡しを果たしている。
• 真のランク $r=2$ のシミュレートデータにおいて、ガンマ分布および離散分布は逆ガンマ分布を上回る平均二乗誤差を示した。
• 逆ガンマ分布はMCMC収束が遅く、尾が重いため、人気にもかかわらず性能が劣化した。
• MovieLens 100K データセットでは、ギブスサンプリングを用いた離散分布および逆ガンマ分布ともにRMSEが0.92を達成し、VBによる結果も同等であった。
• より大きなデータセット（100万件および1000万件の評価）では、逆ガンマ分布を用いた変分ベイズアルゴリズムが、それぞれRMSE 0.84および0.79を達成し、20イテレーション以内に収束した。
• 離散分布およびガンマ分布は真のランクに強く適応し、$K$ を大きく設定しても性能を維持したが、逆ガンマ分布は混合が遅いため性能に悪影響を及えた。