[論文レビュー] Infinite Multiple Membership Relational Modeling for Complex Networks

Morten Mørup, Mikkel N. Schmidt+1 more|arXiv (Cornell University)|Jan 26, 2011

Complex Network Analysis Techniques参考文献 11被引用数 7

ひとこと要約

本稿では、複雑なネットワークにおける頂点が複数の潜在コミュニティに属することを明示的にモデル化する、非パラメトリックベイズ枠組みを用いた無限多重所属関係モデル（IMRM）を提案する。この手法は頂点数ではなくリンク数に対して線形スケーラビリティを有し、単一所属モデルと比較してリンク予測性能が向上し、潜在構造表現がよりコン act になる。実世界のネットワーク（たとえばタンパク質相互作用ネットワークや語の共起ネットワーク）における実験結果から顕著な向上が確認された。

ABSTRACT

Learning latent structure in complex networks has become an important problem fueled by many types of networked data originating from practically all fields of science. In this paper, we propose a new non-parametric Bayesian multiple-membership latent feature model for networks. Contrary to existing multiple-membership models that scale quadratically in the number of vertices the proposed model scales linearly in the number of links admitting multiple-membership analysis in large scale networks. We demonstrate a connection between the single membership relational model and multiple membership models and show on "real" size benchmark network data that accounting for multiple memberships improves the learning of latent structure as measured by link prediction while explicitly accounting for multiple membership result in a more compact representation of the latent structure of networks.

研究の動機と目的

• 頂点が複数のコミュニティに属する複雑なネットワーク構造を捉えるために、単一所属モデルの限界を克服すること。
• 頂点数に二次的スケーリングを伴わない、明示的な多重所属を扱うスケーラブルな生成モデルを開発すること。
• 実世界のネットワークにおける重複コミュニティ所属をモデル化することで、リンク予測の精度を向上させること。
• 単一所属モデルと比較して、よりコンパクトで解釈可能な潜在ネットワーク構造表現を提供すること。
• 非パラメトリックベイズモデリングを多重所属設定に拡張し、線形計算複雑度を達成すること。

提案手法

• 各頂点が複数の潜在コミュニティに属することを、バイナリーフィーチャーベクトルで表現する非パラメトリックベイズ潜在特徴モデルを提案。
• 無限個の潜在コミュニティを許容するため、中国 restaurant process (CRP) 事前分布を用い、非パラメトリック推論を可能にする。
• リンク確率を頂点間の共有特徴の関数としてモデル化し、リンク数に対して線形時間の計算複雑度を達成。
• 後部推論に畳み込みギブスサンプリング戦略を採用し、特徴割り当ておよびリンク確率パラメータの効率的サンプリングを実現。
• 従来の無限関係モデル（IRM）のような単一所属コンポonentを用いた暗黙的多重所属とは対照的に、明示的な多重所属をモデル化する新しいパrameterizationを導入。
• 無向、有向、および二部ネットワークを扱えるようにモデルを一般化し、補助情報および頂点属性の統合を可能にする。

実験結果

リサーチクエスチョン

• RQ1 ネットワーク構造における多重所属の明示的モデル化は、単一所属モデルと比較して、より優れたリンク予測を達成できるか？
• RQ2 提案手法はリンク数に対して線形スケーラビリティを達成しており、大規模ネットワークへの適用を可能にしているか？
• RQ3 多重所属モデルと単一所属モデルの間で、学習された潜在構造のコンパクト性はどのように比較されるか？
• RQ4 予測性能および構造的コンパクト性の両面で、無限関係モデル（IRM）と比較して、本モデルはどの程度優れているか？
• RQ5 多様なリンク密度を示す実世界ネットワークにおいて、重複コミュニティ構造を効果的に捉えられるか？

主な発見

• IMRMモデルは、全テストネットワークにおいて単一所属モデルと比較してリンク予測AUCを顕著に向上させ、FreeAssocやReuters911では最大15%の向上を達成した。
• YMRLにおける抽出コンポーネント数はIRMと比較して顕著に少ない（例：イーストでは15.4 vs. 24.0）ことから、潜在構造表現がよりコンパクトであることが示された。
• 平均して、IMRMはネットワーク全体でコンポーネント数を30%削減し、予測性能を損なわず構造的コンパクト性が向上したことを示した。
• IMRMの計算コストはIRMと同等であり、2500イテレーションあたりの平均CPU時間も同程度のオーダー（例：イーストでは1.7h vs. 2.3h）であった。
• IMRMは、多重所属を明示的にモデル化しているにもかかわらず、リンク予測性能においてIRMと同等の性能を達成しており、明示的モデル化が暗黙的近似よりも効率的であることを示唆している。
• 本モデルは、タンパク質相互作用ネットワーク、電力網、語の共起ネットワークなど多様なネットワークにおいて、重複コミュニティ構造を効果的に捉え、リンク予測性能に一貫した向上をもたらした。