[論文レビュー] A Bayesian Tensor Factorization Model via Variational Inference for Link Prediction

Beyza Ermiş, Ali Taylan Cemgil|arXiv (Cornell University)|Sep 29, 2014

Tensor decomposition and applications参考文献 15被引用数 15

ひとこと要約

本稿では、確率的潜在テンソル因子分解（PLTF）および一般化結合テンソル因子分解（GCTF）フレームワークを用いてリンク予測を行うための変分ベイズテンソル因子分解モデルを提案する。共役事前分布と効率的な変分推論を採用することで、最尤推定手法と比較して、欠損のある実世界のデータセットにおいて優れた予測性能と過学習に対するロバスト性を達成する。

ABSTRACT

Probabilistic approaches for tensor factorization aim to extract meaningful structure from incomplete data by postulating low rank constraints. Recently, variational Bayesian (VB) inference techniques have successfully been applied to large scale models. This paper presents full Bayesian inference via VB on both single and coupled tensor factorization models. Our method can be run even for very large models and is easily implemented. It exhibits better prediction performance than existing approaches based on maximum likelihood on several real-world datasets for missing link prediction problem.

研究の動機と目的

• 欠損データを自然に取り扱える完全なベイズ推論フレームワークをテンソル因子分解のために開発すること。
• PLTFおよびGCTFモデルにおける変分ベイズ推論を用いて、リンク予測タスクの予測性能を向上させること。
• 過学習が最尤推定で一般的に生じるのを回避するスケーラブルで計算的に効率的な手法を提供すること。
• 欠損データが存在する状況下でのモデル順序選択に対する変分アプローチのロバスト性を示すこと。

提案手法

• ポisson尤度とガンマ事前分布を用いた階層的生成モデルを採用し、共役変分推論を可能にする。
• PLTFおよびGCTFモデルにおける潜在要因の事後分布を近似するために、変分ベイズ推論を適用する。
• 平均場近似よりも洗練されたアプローチとして、全条件付き分布を多項分布の積としてモデル化する。
• スパースかつ低ランクのテンソル表現を用いることで、大規模データセットへのスケーラビリティを実現する。
• 共役指数型分布族に基づいて、変分パラメータの更新ルールを導出する。
• 結合テンソル因子分解へとアプローチを拡張し、共有の潜在要因を用いて異種関係データを統合的にモデル化可能にする。

実験結果

リサーチクエスチョン

• RQ1 変分ベイズ推論は、テンソル因子分解を用いたリンク予測において、最尤推定を上回ることができるか？
• RQ2 提案手法は、大規模なテンソル因子分解問題における欠損データをどのように処理するか？
• RQ3 モデルの複雑性が増す状況下でも、EMベースの手法と比較して変分ベイズアプローチは過学習を軽減するか？
• RQ4 欠損データが存在する状況下で、モデル順序の誤った選択に対して、この手法はどれほどロバストか？
• RQ5 大規模な実世界データセットに対しても、高い予測精度を維持しながら効率的にスケーリング可能か？

主な発見

• 提案された変分ベイズ（VB）手法は、DiggやFriendsterを含むすべてのテストデータセットで、EMベースの手法よりも顕著に高いAUCスコアを達成した。
• 80%の欠損データを含むDiggデータセットでは、VBはAUC 0.961 ± 0.001を達成したのに対し、EMは0.892 ± 0.003にとどまった。
• VB手法はモデル順序の増加（R=2からR=20）に対しても最小限の性能低下を示したのに対し、EMベースの手法は急激に低下し、過学習に対するより優れたロバスト性を示した。
• VBアプローチは、欠損データの割合が40%、60%、80%のさまざまな条件下でも安定した性能を維持した。これは、優れた一般化性能を示している。
• 手法は効率的にスケーリングされ、Friendsterのような大規模データセットでも推論時間はやや増加するにとどまり、EMと異なり計算的に実行不可能なほどにはならなかった。
• 共役事前分布と構造化された変分近似の使用により、顕著な計算オーバーヘッドを伴わず、正確な事後推論が可能になった。