[論文レビュー] Community detection for interaction networks

Harry Crane, Walter Dempsey|arXiv (Cornell University)|Sep 30, 2015

Complex Network Analysis Techniques参考文献 32被引用数 6

ひとこと要約

本稿では、二値ネットワークに変換するためのしきい値処理ではなく、直接的に相互作用回数をモデル化することを提案し、ポisson分布や二項分布の確率的スチューデント・ブロックモデルといった単純な統計モデルが、Newman–Girvanモジュラリティを上回ることを示している。しきい値処理はモジュラリティに基づく手法に不安定性をもたらすが、直接モデル化することで、例えば最高裁の補佐官サウターのイデオロギー的転換といった既知のコミュニティ構造が、時間経過に伴ってより正確かつ安定して回復される。

ABSTRACT

In many applications, it is common practice to obtain a network from interaction counts by thresholding each pairwise count at a prescribed value. Our analysis calls attention to the dependence of certain methods, notably Newman--Girvan modularity, on the choice of threshold. Essentially, the threshold either separates the network into clusters automatically, making the algorithm's job trivial, or erases all structure in the data, rendering clustering impossible. By fitting the original interaction counts as given, we show that minor modifications to classical statistical methods outperform the prevailing approaches for community detection from interaction datasets. We also introduce a new hidden Markov model for inferring community structures that vary over time. We demonstrate each of these features on three real datasets: the karate club dataset, voting data from the U.S.\ Senate (2001--2003), and temporal voting data for the U.S. Supreme Court (1990--2004).

研究の動機と目的

• コミュニティ検出のための相互作用回数を二値ネットワークに変換するという一般的な手法に挑戦すること。
• Newman–Girvanモジュラリティがしきい値の選択に極めて感受的であることを明らかにし、これにより検出されたコミュニティの信頼性が損なわれることを示すこと。
• 従来のネットワークベースのアルゴリズムと比較して、相互作用回数に直接適用する古典的統計モデルが優れた性能を示すことを実証すること。
• 縦断的投票ネットワーク、特に最高裁の投票行動に特化した、時間的に変化するコミュニティ構造を効果的にモデル化するための隠れマルコフモデルを構築すること。
• データの豊かさを保ちながら推論の安定性を向上させる、しきい値処理の代替的で原理的かつ整合性のある手法を提供すること。

提案手法

• 二パラメータのポアソン分布を用いて相互作用回数をモデル化し、二値化処理を回避し、カウント情報の保持を図ること。
• 二項分布の確率的スチューデント・ブロックモデルを相互作用データに適用し、しきい値処理を伴わずにコミュニティ構造を推定可能にすること。
• 投票ネットワークにおけるコミュニティ所属の時間的変化をモデル化するため、Ewensのカットアンドパスターチェインを用いた隠れマルコフモデルを導入すること。
• 標準的な統計的手法（最尤推定やベイズ推定）を用いてモデルを適合させ、アルゴリズム的ネットワーククラスタリングではなく、統計的推定に依存すること。
• 3つの実データセット（空手クラブ、米国上院、米国最高裁）を用い、しきい値処理を施したネットワークにNewman–Girvanモジュラリティを適用した結果と比較すること。
• モデルの適合度とクラスタリングの正確性を評価指標とし、既知の真のコミュニティ構造との照合による妥当性の検証を行うこと。

実験結果

リサーチクエスチョン

• RQ1 ネットワークの投影におけるしきい値の選択が、Newman–Girvanモジュラリティを用いたコミュニティ検出の信頼性にどのように影響するか？
• RQ2 相互作用回数に直接適用する古典的統計モデルは、しきい値処理を施したネットワーク手法を上回る性能を示せるか？
• RQ3 時間経過とともに変化するコミュニティ構造は、相互作用ネットワークにおいてどのように効果的にモデル化できるか？
• RQ4 相互作用回数のデータを無視することで、実世界のデータセットにおけるコミュニティ検出の正確性はどの程度低下するか？
• RQ5 確率的過程によるコミュニティ遷移を備えた隠れマルコフモデルは、最高裁の投票行動における既知のイデオロギー的転換を検出できるか？

主な発見

• Newman–Girvanモジュラリティはしきい値の選択に極めて感受的であり、すべてのデータセットで真のコミュニティ構造を一貫して回復できるような単一のしきい値は存在しない。
• 相互作用回数に二パラメータのポアソンモデルを適用すると、空手クラブデータセットの既知のコミュニティ構造が正確に再構築されるが、36パラメータを有する次数補正付きスチューデント・ブロックモデルでは、1名の人物の所属が正しく割り当てられていない。
• 隠れマルコフモデルを組み合わせた二項分布の確率的スチューデント・ブロックモデルは、1992年から1993年にかけて、最高裁の補佐官デイビッド・サウターのイデオロギー的転換（保守的から自由的へ）を正しく検出している。
• 最高裁データセットの各会期に独立してNewman–Girvanモジュラリティを適用すると、結果が一貫せず、最適なしきい値が時間経過とともに著しく変化している。
• 相互作用回数を直接モデル化することで、しきい値処理に起因する不安定性が回避され、3つのデータセットすべてでより安定的かつ正確なコミュニティ検出が実現している。
• 提案手法は、特に縦断的状況において、標準的なネットワークベースのアルゴリズムと比較して、より少ないパラメータ数で、より解釈可能性の高い性能を達成している。