[論文レビュー] Prior and Likelihood Choices for Bayesian Matrix Factorisation on Small Datasets

Thomas Brouwer, Píetro Lió|arXiv (Cornell University)|Dec 1, 2017

Bayesian Methods and Mixture Models被引用数 6

ひとこと要約

本稿は、小さなデータセットにおけるベイジアン行列分解の事前分布と尤度関数の選択を体系的に評価し、4つのモデル群（実数値／ガウス尤度、非負の事前分布／ガウス尤度、半非負のモデル、ポアソン尤度モデル）を比較する。ポアソン尤度モデルは収束が悪く過学習を引き起こすため、小さなデータセットでは性能が低いことが判明。一方、非負のモデルはスパarsityやノイズに対してより高いロバストネスを示し、高次元の因子分解において階層的事前分布が一般化性能を著しく向上させることを明らかにした。

ABSTRACT

In this paper, we study the effects of different prior and likelihood choices for Bayesian matrix factorisation, focusing on small datasets. These choices can greatly influence the predictive performance of the methods. We identify four groups of approaches: Gaussian-likelihood with real-valued priors, nonnegative priors, semi-nonnegative models, and finally Poisson-likelihood approaches. For each group we review several models from the literature, considering sixteen in total, and discuss the relations between different priors and matrix norms. We extensively compare these methods on eight real-world datasets across three application areas, giving both inter- and intra-group comparisons. We measure convergence runtime speed, cross-validation performance, sparse and noisy prediction performance, and model selection robustness. We offer several insights into the trade-offs between prior and likelihood choices for Bayesian matrix factorisation on small datasets - such as that Poisson models give poor predictions, and that nonnegative models are more constrained than real-valued ones.

研究の動機と目的

• 小さなデータセットにおける異なる事前分布と尤度関数を備えたベイジアン行列分解モデルの間で、体系的な比較が不足している問題を解決すること。
• 実数値／ガウス、非負／ガウス、半非負／ガウス、ポアソン尤度モデルの4つの明確なモデル群を特定し、評価すること。
• 多様な実世界のデータセットを用いて、予測性能、収束速度、スパarsityおよびノイズに対するロバストネス、モデル選択の安定性を評価すること。
• 特にバイオインフォマティクス、ドラッグ感受性、コラボラティブフィルタリングの応用分野において、小さなデータ環境でのモデル選択に役立つ実用的知見を提供すること。
• 非パラメトリックな変種（推論に依存する性能を示すもの）を除外し、パラメトリックモデルに限定することで、尤度関数と事前分布の選択が及ぼす影響を明確に分離すること。

提案手法

• 実数値／ガウス、非負／ガウス、半非負／ガウス、ポアソン尤度モデルの4つのグループに分け、合計16種類のベイジアン行列分解モデルを体系的に比較する。
• 事後分布の近似に変分ベイズ推論またはマルコフ連鎖モンテカルロ法を適用し、可能な限り共役事前分布を用いる。
• 自動関連性決定（ARD）、ウィッシュァルト、ラプラス、ガンマなどのハイパーパラメータを持つ階層的事前分布を用い、過学習と一般化性能への影響を評価する。
• 8つの実世界のデータセット（薬剤感受性（GDSC）、コラボラティブフィルタリング（MovieLens）、メチル化発現（GMデータセット））を用い、交差検証を実施する。
• 制御された条件下で性能を測定：ノイズレベル、データのスパarsity、因子分解ランク $K$ を変化させ、主に平均二乗誤差（MSE）を指標とする。
• $K$ を変化させ、ホールドアウトされたテストセットでの予測性能を評価することで、モデル選択実験を実施し、過学習の傾向を評価する。

実験結果

リサーチクエスチョン

• RQ1 ガウス尤度とポアソン尤度の違いが、小さなデータセットにおけるベイジアン行列分解の予測性能にどのように影響するか？
• RQ2 実数値、非負、階層的などの事前分布の選択が、小さなデータ環境下での収束性、ノイズに対するロバストネス、過学習に与える影響は何か？
• RQ3 スパarsityおよびノイズの下で、半非負モデルと完全に実数値のモデルは、予測精度と安定性においてどのように比較されるか？
• RQ4 因子分解ランク $K$ が増加するに従い、ARD やウィッシュァルト、ラプラスなどの階層的事前分布が、一般化性能の向上と過学習の低減にどの程度寄与するか？
• RQ5 小さなデータセットにおけるベイジアン行列分解において、一変量と多変量の事後分布近似は、予測性能において同等か？

主な発見

• ポアソン尤度モデルは、小さなデータセットにおいてガウス尤度モデルに比べて一貫して性能が劣り、交差検証性能が低く、ノイズに敏感で、特にスパarsityが低い状況で収束が遅いことが判明。
• 非負行列分解モデルは実数値モデルよりも制約が強いが、高スパarsity下では収束が浅く、過学習が抑えられる。ただし、適切な階層的事前分布（例：ウィッシュァルト、ARD）を用いることで、このギャップは解消される。
• 半非負モデル（例：GEG、GVnG）は、それに対応する実数値モデル（例：GGG、GVG）と同等の予測性能を示し、部分的な非負制約に明確な利点や欠点がないことが示された。
• 一変量と多変量の事後分布近似は、同等の予測性能を示し、この文脈では完全な共分散構造をモデル化しても精度が向上しないことが示唆された。
• ARD やウィッシュァルトなどの階層的事前分布は、因子分解ランク $K$ が増加するに従い、過学習を顕著に低減し、高次元設定でも安定した性能を維持する。一方、標準モデル（例：GGG、GEE）は急速に過学習を示す。
• ラプラス事前分布も、追加の階層的構造を必要とせず、効果的に過学習を低減する。一部の階層的事前分布（例：GLLI、GTTN、PGGG）は性能差が最小限に抑えられており、実際の運用ではハイパーパrameterチューニングへの感受性が低いことが示された。