[論文レビュー] A Bayesian Matrix Factorization Model for Relational Data

Ajit Singh, Geoffrey J. Gordon|arXiv (Cornell University)|Mar 15, 2012

Bayesian Modeling and Causal Inference参考文献 18被引用数 12

ひとこと要約

本稿では、関係データ向けの階層ベイズ行列分解モデルを提案し、標準的なMCMCにおける混合が遅い問題を克服するために、勾配およびヘッセ行列に基づく提案チューニングを施したブロックメトロポリス・ハスティングスサンプラーを用いる。この手法により、副情報の統合によって予測性能が向上し、刺激関連メタデータを用いた脳応答予測の向上が実証された。

ABSTRACT

Relational learning can be used to augment one data source with other correlated sources of information, to improve predictive accuracy. We frame a large class of relational learning problems as matrix factorization problems, and propose a hierarchical Bayesian model. Training our Bayesian model using random-walk Metropolis-Hastings is impractically slow, and so we develop a block Metropolis-Hastings sampler which uses the gradient and Hessian of the likelihood to dynamically tune the proposal. We demonstrate that a predictive model of brain response to stimuli can be improved by augmenting it with side information about the stimuli.

研究の動機と目的

• 複数の相関するデータソースを統合することで、関係学習における予測精度を向上させる挑戦に取り組む。
• 関係学習問題を行列分解タスクとして定式化し、異種データの共同モデリングを可能にする。
• 複雑な関係データにスケーリング可能な階層ベイズモデルのための効率的なMCMC推論手法を開発する。
• 副情報の価値を、特に神経科学的応用において予測モデルの向上に寄与するものとして実証する。
• 高次元ベイズ行列分解における標準的なランダムウォークメトロポリス・ハスティングスの計算非効率性を克服する。

提案手法

• 観測データを低ランク行列としてモデル化し、潜在要因を用いて関係学習をベイズ行列分解問題として定式化する。
• 関連するデータソース間での情報共有を可能にするために、潜在要因とハイパーパrameterに対して階層的事前分布構造を導入する。
• 勾配およびヘッセ行列情報を用いて、潜在変数とハイパーパrameterのブロックを同時に更新するブロックメトロポリス・ハスティングスサンプラーを設計する。
• ヘッセ行列を用いて提案分布を動的にチューニングし、MCMC系列の混合および収束速度を向上させる。
• 尤度と事前分布から導かれる条件付き後確率分布をサンプリングプロセスのガイドとして用いる。
• 実世界のデータ、特に刺激メタデータを用いた脳応答予測にモデルを適用する。

実験結果

リサーチクエスチョン

• RQ1 ベイズ行列分解モデルは、複数の関係データソースを効果的に統合し、予測を向上させることができるか？
• RQ2 刺激に関する副情報の組み込みが、その刺激に対する脳応答予測の精度にどのように影響するか？
• RQ3 勾配およびヘッセ行列情報を用いたブロックメトロポリス・ハスティングスサンプラーは、ベイズ行列分解におけるMCMC収束を著しく改善できるか？
• RQ4 階層的事前分布は、関係学習におけるモデルの汎化性能およびロバストネスにどのような影響を及ぼすか？
• RQ5 計算効率および予測性能の観点から、提案手法は標準的なMCMCアプローチと比べてどのように差をつけるか？

主な発見

• 勾配およびヘッセ行列に基づくチューニングを施したブロックメトロポリス・ハスティングスサンプラーは、標準的なランダムウォークメトロポリス・ハスティングスと比較して、MCMCの混合および収束速度を顕著に改善した。
• 刺激に関する副情報を統合することで、その刺激に対する脳応答予測の精度が明確に向上した。
• 階層的ベイズモデルは、関連するデータソース間で情報を効果的に共有し、汎化性能および予測精度を向上させた。
• 関係データや副情報を活用しないベースラインモデルと比較して、提案手法はより優れた予測性能を達成した。
• 効率的なMCMC推論を通じて、複雑な関係データ構造の処理において、モデルのロバストネスとスケーラビリティを示した。
• 脳応答データに対する実証的結果から、行列分解による関係データ拡張が、予測力の意味的な向上をもたらすことが確認された。