[論文レビュー] Macau: Scalable Bayesian Multi-relational Factorization with Side Information using MCMC

Jaak Simm, Ádám Arany+6 more|arXiv (Cornell University)|Sep 15, 2015

Topic Modeling参考文献 6被引用数 23

ひとこと要約

マカオは、MCMCサンプリングを用いて側情報（エンティティおよび関係の特徴）を統合するスケーラブルなベイジアンマルチリレーショナル要因分解手法を提案する。この手法により、数百万のエンティティと観測値を含む大規模かつスパースなデータ上でも効率的な推論が可能となり、ノイズを注入したギブスサンプリングを用いることで、特徴の推論を効率化する。薬物-タンパク質活性予測および行列分解ベンチマークにおいて、最先端の性能を達成する。

ABSTRACT

We propose Macau, a powerful and flexible Bayesian factorization method for heterogeneous data. Our model can factorize any set of entities and relations that can be represented by a relational model, including tensors and also multiple relations for each entity. Macau can also incorporate side information, specifically entity and relation features, which are crucial for predicting sparsely observed relations. Macau scales to millions of entity instances, hundred millions of observations, and sparse entity features with millions of dimensions. To achieve the scale up, we specially designed sampling procedure for entity and relation features that relies primarily on noise injection in linear regressions. We show performance and advanced features of Macau in a set of experiments, including challenging drug-protein activity prediction task.

研究の動機と目的

• テンソル、複数の関係、および側情報をサポートする統一されたベイジアンフレームワークを構築すること。
• 数百万のエンティティ、数億の観測値、高次元スパース特徴を含むデータセットに対してベイジアン要因分解をスケーリングすること。
• エンティティおよび関係の特徴を原理的で確率論的なアプローチで統合することで、観測が稀な関係の予測性能を向上させること。
• ノイズ注入と並列化されたサンプリング手順を用いて、大規模データ上での効率的なMCMC推論を可能にすること。

提案手法

• マカオは、エンティティをノード、関係をハイパーエッジとして扱うハイパーグラフとしてデータをモデル化し、テンソルおよびエンティティペア間の複数の関係をサポートする。
• 潜在要因に共役事前分布を、平均および精度行列にハイパーパラメータを設定する完全なベイジアン階層モデルを採用する。
• 特にスパースな状況下でも、高次元エンティティおよび関係特徴を効率的にサンプリングするための新規なノイズ注入ギブスサンプリング手順を用いる。
• 特徴推論には、共役勾配ソルバーを用いた反復的線形回帰を採用し、複数のコアおよびノード上で並列化を可能にする。
• 密度特徴およびスパース特徴の両方をサポートし、低次元特徴には直接ソルバー、高次元スパース特徴にはCGを適用する。
• 潜在要因、特徴係数、ハイパーパrameterの全事後分布をサンプリングすることでMCMC推論を実行し、不確実性の定量化を可能にする。

実験結果

リサーチクエスチョン

• RQ1 ベイジアンマルチリレーショナル要因分解モデルは、エンティティおよび関係の特徴を効果的に統合することで、観測が稀な関係の予測を改善できるか？
• RQ2 ノイズ注入によるギブスサンプリングを用いたMCMC推論は、高次元スパース特徴を伴う数百万のエンティティと観測値を処理できるようにスケーリング可能か？
• RQ3 例えばIC50とKiといった複数の関係タイプを統合することで、薬物-タンパク質相互作用モデルの予測性能が向上するか？
• RQ4 複数の関係や特徴を追加する際、潜在次元数がモデルの性能に与える影響は何か？
• RQ5 提案手法は、実世界の大規模データセットにおいて、既存の最先端の行列分解アプローチを上回る性能を発揮できるか？

主な発見

• マカオはMovieLensベンチマークでBPMFを上回り、特に観測が稀な関係において側情報を活用することで大きな利益を得ている。
• IC50とKiという2つの異なる生化学的相互作用タイプを統合したIC50+Kiモデルは、単一関係のIC50モデルよりも顕著に優れた性能を示す（p < 0.0001）。
• 表型アッセイデータを追加したIC50+Phenoモデルは、十分な潜在次元数（D ≥ 30）を用いる場合、IC50オンリーのモデルよりも予測精度が向上する。
• D=10の条件下ではIC50+Phenoモデルが性能を発揮しないことから、潜在的容量が不足していると、複雑な関係を追加した場合に性能が低下する可能性があることが示された。
• 180万の化合物と1,000のタンパク質を含む大規模な産業データセットにおいて、マカオは15ノードを用いて高次元スパース特徴（400万次元、0.002％スパarsity）に対して約600秒で1,000回のギブスイテレーションを完了した。
• 中程度の特徴次元数（F_e ≈ 6,000）の場合、8コアで1回の完全ギブスステップが約40秒で実行可能であり、並列化の効率性が裏付けられた。