[論文レビュー] Modeling homophily and stochastic equivalence in symmetric relational data

Peter D. Hoff|ArXiv.org|Nov 7, 2007

Bayesian Modeling and Causal Inference参考文献 8被引用数 212

ひとこと要約

本稿では、ノード固有の潜在ベクトルの重み付き内積として関係をモデル化することにより、潜在クラスモデルと距離モデルの両方を一般化する対称的関係データのための潜在変数フレームワーク、eigenmodelを提案する。数学的および実証的に、eigenmodelは同質性（homophily）と確率的同等性（stochastic equivalence）を捉え、友人関係ネットワーク、『ゲネシス』における語の隣接関係、およびタンパク質-タンパク質相互作用の3つの実世界データセットにおいて、従来のモデルよりも優れた予測精度を示す。

ABSTRACT

This article discusses a latent variable model for inference and prediction of symmetric relational data. The model, based on the idea of the eigenvalue decomposition, represents the relationship between two nodes as the weighted inner-product of node-specific vectors of latent characteristics. This ``eigenmodel'' generalizes other popular latent variable models, such as latent class and distance models: It is shown mathematically that any latent class or distance model has a representation as an eigenmodel, but not vice-versa. The practical implications of this are examined in the context of three real datasets, for which the eigenmodel has as good or better out-of-sample predictive performance than the other two models.

研究の動機と目的

• 対称的関係データにおける同質性と確率的同等性の両方を捉える統一的統計モデルの開発。
• 具体的には、潜在クラスモデルと距離モデルを統合する1つのフレームワーク内で、既存の潜在変数モデルを一般化すること。
• 実世界のデータセットにおいて、eigenmodelが従来のモデルよりも優れた予測性能を示すことを実証すること。
• 数学的に、任意の潜在クラスモデルや距離モデルがeigenmodelの特別な場合として表現可能であるが、逆は成り立たないことを示すこと。
• 特徴値分解を用いた低ランク近似により、社会行列データの解釈可能性と推論を向上させる。

提案手法

• eigenmodelは、ノード i と j の関係を y_ij = β'x_ij + u_i^TΛu_j として表現する。ここで u_i と u_j は潜在ベクトル、Λ は固有値の対角行列である。
• 社会行列の固有値分解を用いて、関係データの変動を捉える低ランクの潜在構造を抽出する。
• 離散的またはカウント値の関係データに対しては、順序プロビット尤度を用いてモデルを非正規分布に拡張する。
• 潜在ベクトルおよびモデルパラメータの後方分布推論には、マルコフ連鎖モンテカルロ（MCMC）法を用いる。
• モデル比較には、交差検証を用いた予測性能の外挿評価を実施する。
• eigenmodelは、潜在クラスモデルおよび距離モデルを一般化しており、これら任意のモデルがeigenmodelの特別な場合として表現可能である。

実験結果

リサーチクエスチョン

• RQ1 1つの潜在変数モデルが、対称的関係データにおける同質性と確率的同等性の両方を表現できるか？
• RQ2 実データセットにおいて、eigenmodelは潜在クラスモデルおよび距離モデルと比較して予測性能に優れているか？
• RQ3 eigenmodelと既存のモデル（潜在クラスモデルや距離モデル）との数学的関係は何か？
• RQ4 eigenmodelは、従来のモデルよりも複雑なネットワーク構造をより柔軟かつ正確に表現できるか？
• RQ5 eigenmodelが同質性と確率的同等性の両方を表現できることにより、外挿予測性能が向上するか？

主な発見

• 分析した3つの実世界データセット（友人関係ネットワーク、『ゲネシス』における語の隣接関係、タンパク質-タンパク質相互作用）において、eigenmodelは潜在クラスモデルおよび距離モデルをすべて上回る外挿予測性能を示した。
• 友人関係ネットワークデータでは、eigenmodelと距離モデルが最も優れた性能を示したが、潜在クラスモデルはKを増やしても性能が芳しくなかった。
• 『ゲネシス』の関係的テキストデータでは、潜在クラスモデルが距離モデルを上回り、eigenmodelはその性能を模倣した。これは、語の隣接関係が空間的近接性よりもグループベースの関係によってより良く説明できるという仮説を支持する。
• タンパク質-タンパク質相互作用データでは、K=3のeigenmodelがKのすべての値で潜在クラスモデルおよび距離モデルを上回り、ハブ構造と推移的三重項の両方を捉える優れた能力を示した。
• 数学的導出により、すべての潜在クラスモデルおよび距離モデルがeigenmodelの特別な場合として表現可能であるが、逆は成り立たないことが確認され、eigenmodelの一般性が裏付けられた。
• eigenmodelが固有値分解による低ランク近似を用いることで、グループ構造や空間埋め込みに関する事前仮定を必要とせず、複雑な関係パターンを柔軟に表現できるようになった。