[論文レビュー] A maximum entropy approach to separating noise from signal in bimodal affiliation networks

Navid Dianati|arXiv (Cornell University)|Jul 6, 2016

Complex Network Analysis Techniques参考文献 12被引用数 4

ひとこと要約

本稿では、両方のノード層（エンティティ頻度とセットサイズ）の次数系列を保持することで、二様所属ネットワークにおける信号とノイズを分離する最大エントロピーに基づくノードモデルを提案する。共起重みのp値は、ポアソン二項分布に対する洗練された正規近似を用いて計算され、モンテカルロサンプルを用いない効率的な有意性検定を可能にする。この手法は、重みのしきい値による手法よりも、110期米国上院共同提案ネットワークにおける政党間対立のようなモジュラー構造をよりよく明らかにする。

ABSTRACT

In practice, many empirical networks, including co-authorship and collocation networks are unimodal projections of a bipartite data structure where one layer represents entities, the second layer consists of a number of sets representing affiliations, attributes, groups, etc., and an inter-layer link indicates membership of an entity in a set. The edge weight in the unimodal projection, which we refer to as a co-occurrence network, counts the number of sets to which both end-nodes are linked. Interpreting such dense networks requires statistical analysis that takes into account the bipartite structure of the underlying data. Here we develop a statistical significance metric for such networks based on a maximum entropy null model which preserves both the frequency sequence of the individuals/entities and the size sequence of the sets. Solving the maximum entropy problem is reduced to solving a system of nonlinear equations for which fast algorithms exist, thus eliminating the need for expensive Monte-Carlo sampling techniques. We use this metric to prune and visualize a number of empirical networks.

研究の動機と目的

• 二様データから導出された密な共起ネットワークにおける統計的に有意なエッジを同定する課題に対処すること。
• 二様ネットワークにおけるモンテカルロベースのノードモデルの代替として、計算効率の良い手法を開発すること。
• 統計的に整合性のある方法で、エンティティの頻度系列とセットサイズ系列の両方を保持すること。
• ノイズの多いエッジを強固に除去しながら、マルチスケールのネットワーク構造を保持すること。
• 特に立法的ネットワークにおけるコミュニティ構造、例えば政党対立の検出を向上させること。

提案手法

• 二部グラフにおける両層の期待次数系列を保持する最大エントロピーのノードモデルを定式化する。
• 最大エントロピー問題の解法を、高価なモンテカルロサンプルを避けるために非線形方程式系の解法に還元する。
• ノードモデル下での任意の二エンティティ間の共起頻度を、ポアソン二項分布でモデル化する。
• ポアソン二項分布の累積分布関数に対する洗練された正規近似を適用し、p値の高速計算を実現する。
• 観測された共起重み $w_{ij}$ の右片側p値 $ olpi_{ij}$ を用いて、検定統計量 $-\log(\pi_{ij})$ を計算し、有意性を評価する。
• 有意性値がしきい値を超えるエッジのみを保持することでネットワークを刈り込むことにより、ネットワークの骨格を明らかにする。

実験結果

リサーチクエスチョン

• RQ1 二様所属ネットワークにおける統計的に有意な共起エッジを、元の構造的制約を保持したまま同定する方法は何か？
• RQ2 最大エントロピーのノードモデルは、既存のランダマイゼーションベースの手法を上回り、意味のあるネットワーク構造を検出できるか？
• RQ3 提案手法は、立法的ネットワークにおけるモジュラー構造、例えば政党対立の検出をどの程度向上させるか？
• RQ4 有意性フィルタの性能は、重みのしきい値による手法と比較して、巨大成分のサイズとモジュラリティの観点でどう異なるか？
• RQ5 計算的に高価なモンテカルロサンプルに依存せずに、この手法は効率的に計算可能か？

主な発見

• 提案された有意性フィルタは、110期米国上院共同提案ネットワークにおいて、明確にデモクラットとレピブリック党の分かれを反映する極めてモジュラーな構造を明らかにした。
• ネットワーク密度2において、有意性フィルタを用いた刈り込みでは全上院議員の約80％が巨大成分に含まれるが、重みのしきい値による手法でははるかに小さな成分にとどまる。
• すべての切り捨てレベルにおいて、有意性フィルタを用いた刈り込みネットワークのモジュラリティは、重みのしきい値による手法よりも一貫的かつ顕著に高い。
• モンテカルロサンプルによるノード分布推定に依存せず、非線形方程式系の解法により、高い計算効率を達成した。
• ポアソン二項分布のCDFに対する洗練された正規近似により、高速かつ正確なp値計算が可能となり、大規模ネットワークへのスケーラビリティを実現した。
• フィルタによって同定された共起ネットワークの骨格は、元の密なネットワークでは不明瞭であったが、明確かつ解釈可能なコミュニティ構造を示した。