[論文レビュー] Max-Margin Nonparametric Latent Feature Models for Link Prediction

Jun Zhu, Song, Jiaming+1 more|arXiv (Cornell University)|Feb 24, 2016

Complex Network Analysis Techniques参考文献 24被引用数 74

ひとこと要約

この論文は、判別的max-margin学習とベイジアンノンパラメトリクスを統合することで、潜在次元数を自動的に推定するmax-margin非パラメトリックベイジアン潜在特徴モデルを提案する。確率的変分ベイズ推論によりヒンジ損失を最小化することで、正則化ハイパーパrameterのチューニングを必要とせず、US特許データセット（K=50のとき0.685 AUC）のような大規模ネットワークにおいて最先端のAUCスコアを達成する。

ABSTRACT

Link prediction is a fundamental task in statistical network analysis. Recent advances have been made on learning flexible nonparametric Bayesian latent feature models for link prediction. In this paper, we present a max-margin learning method for such nonparametric latent feature relational models. Our approach attempts to unite the ideas of max-margin learning and Bayesian nonparametrics to discover discriminative latent features for link prediction. It inherits the advances of nonparametric Bayesian methods to infer the unknown latent social dimension, while for discriminative link prediction, it adopts the max-margin learning principle by minimizing a hinge-loss using the linear expectation operator, without dealing with a highly nonlinear link likelihood function. For posterior inference, we develop an efficient stochastic variational inference algorithm under a truncated mean-field assumption. Our methods can scale up to large-scale real networks with millions of entities and tens of millions of positive links. We also provide a full Bayesian formulation, which can avoid tuning regularization hyper-parameters. Experimental results on a diverse range of real datasets demonstrate the benefits inherited from max-margin learning and Bayesian nonparametric inference.

研究の動機と目的

• ベイジアンノンパラメトリクスの事前分布を用いることで、リンク予測モデルにおける未知の潜在次元数の問題に取り組む。
• 最大マージン学習の原則を確率的潜在特徴モデルに統合することで、リンク予測の性能を向上させる。
• 正則化ハイパーパrameterのチューニングを回避するためのスケーラブルな推論手法を確立する。
• 数百万のエンティティと数千万のリンクを持つ大規模な実世界ネットワークにおける効率的な学習を可能にする。
• 関係データモデリングにおいて、判別的max-margin学習とノンパラメトリックベイジアン推論を統合することで、予測精度と頑健性が向上することを示す。

提案手法

• 最大エントロピー差別化（MED）フレームワーク下で、ヒンジ損失の最小化を目的関数とするmax-margin潜在特徴関係モデルを提案する。
• 無限個の潜在特徴を許容できる非パラメトリック事前分布としてインディアンバーベッジプロセス（IBP）を用いる。
• 正則化ハイパーパラメータのチューニングを不要にするために、完全ベイジアン形式でモデルを定式化する。
• 大規模ネットワークへのスケーラビリティを実現するため、切断された平均場近似に基づく確率的変分ベイズ推論アルゴリズムを開発する。
• 非線形性の高いリンク尤度関数を直接取り扱う必要を回避するため、線形期待値演算子を用いてヒンジ損失の勾配を効率的に計算する。
• 計算の可能性を確保するための切断レベルを採用するが、今後の研究では切断なしの動的次元調整を目指す。

実験結果

リサーチクエスチョン

• RQ1 max-margin学習は、非パラメトリックベイジアン潜在特徴モデルのリンク予測における判別力の向上に寄与するか？
• RQ2 完全ベイジアン形式は、性能を損なわずに正則化ハイパーパラメータのチューニングを不要にするか？
• RQ3 確率的変分ベイズ推論は、数百万のエンティティと数千万のリンクを持つ大規模ネットワークにスケーリング可能か？
• RQ4 本モデルは、共通の近傍、ジャカード係数、カッツ法などの従来の近接度ベース手法と比較して、実世界の大規模ネットワークで優れた性能を示すか？
• RQ5 ベイジアンノンパラメトリクスとmax-margin学習を統合することで、リンク予測の精度と頑健性はどの程度向上するか？

主な発見

• 本モデルは、US特許の引用ネットワーク（377万エンティティ、1650万件の正例リンク）でAUC 0.685を達成し、Katz法（0.639 AUC）などのベースライン手法を顕著に上回った。
• K=50のとき、学習時間は約10.5時間で、より計算コストの高いKatz法（21,975秒）を上回った。
• データのスパarsityにもかかわらず、テストAUCが0.685を維持する一方で、学習AUCは0.858と比較的低く抑えられており、一般化性能に優れていることが示された。
• 完全ベイジアン形式により、正則化ハイパーパラメータのチューニングが不要となり、チューニングの負担と計算コストがともに削減された。
• 確率的変分ベイズ推論アルゴリズムにより、数百万のエンティティと数千万の正例リンクを持つ大規模ネットワークでも効率的な学習が可能になった。
• 学習AUCとテストAUCの差は、約半数の特許で引用情報が欠落していることによるデータバイアスの可能性を示唆しており、ネガティブサンプリング仮定の制限として浮き彫りになった。