[論文レビュー] Maps of sparse Markov chains efficiently reveal community structure in network flows with memory

Christian Persson, Ludvig Bohlin+2 more|arXiv (Cornell University)|Jun 27, 2016

Complex Network Analysis Techniques参考文献 20被引用数 11

ひとこと要約

本稿では、スパースなマルコフ連鎖を用いてメモリを持つネットワークフローの効率的マッピング手法を提案する。変化する次数のメモリと交差検証による状態の統合を用いることで、高次モデルにおける次元の呪いを克服する。この手法は、引用フローにおいて82%のモジュールフローパーティションを達成し、1次モデル（59%）やWeb of Scienceの分類（44%）よりも顕著に高い水準を示す。これにより、多分野にまたがる科学ネットワークにおける正確で重複するコミュニティ検出が可能になる。

ABSTRACT

To better understand the flows of ideas or information through social and biological systems, researchers develop maps that reveal important patterns in network flows. In practice, network flow models have implied memoryless first-order Markov chains, but recently researchers have introduced higher-order Markov chain models with memory to capture patterns in multi-step pathways. Higher-order models are particularly important for effectively revealing actual, overlapping community structure, but higher-order Markov chain models suffer from the curse of dimensionality: their vast parameter spaces require exponentially increasing data to avoid overfitting and therefore make mapping inefficient already for moderate-sized systems. To overcome this problem, we introduce an efficient cross-validated mapping approach based on network flows modeled by sparse Markov chains. To illustrate our approach, we present a map of citation flows in science with research fields that overlap in multidisciplinary journals. Compared with currently used categories in science of science studies, the research fields form better units of analysis because the map more effectively captures how ideas flow through science.

研究の動機と目的

• 固定された高次マルコフ連鎖モデルがネットワークフローのマッピングに用いられる際の次元の呪いに対処すること。
• 指数関数的に増加するデータ量を必要とせずに、ネットワークフローの記憶効果を捉えるスケーラブルな手法を開発すること。
• 重複する、階層的にネストされたコミュニティを可能にする、モジュラーなネットワークフロー表現を改善すること。
• 従来の1次マルコフ連鎖モデルや既存のジャーナル分類よりも優れる、データ駆動的で交差検証されたマッピングフレームワークを提供すること。
• 10,000の科学ジャーナルを対象とした引用フローを用いて、本手法の有効性を実証すること。

提案手法

• 本手法は、状態ごとに変化する次数のメモリを許容するスパースなマルコフ連鎖を用いて、メモリを持つネットワークフローをモデル化する。
• 反復的な状態の統合アルゴリズムによりエントロピー率の損失を最小化し、モデルの複雑さを低減しながらフローダイナミクスを保持する。
• アルゴリズムは、10分割交差検証を用いて最適なモジュラリティに達するまで、段階的に状態をモジュールに統合する。
• 最終的なマップは、交差検証下でモジュールフローパーティションを最大にするスパースなマルコフ連鎖モデルから構築される。
• 各物理的ノードを複数の状態ノードとして表現することで、マルチステップの経路をモデル化し、文脈依存の遷移を可能にする。
• 本手法は、Web of Scienceに収録された490万件の論文（2007–2012年）から得られる10,000のジャーナルにおける引用フローに適用されている。

実験結果

リサーチクエスチョン

• RQ1 スパースなマルコフ連鎖は、次元の呪いを回避しつつ、ネットワークフローの記憶を効率的にモデル化できるか？
• RQ2 マルコフ連鎖における可変次数のメモリは、ネットワークフローにおける重複する、階層的にネストされたコミュニティの検出を向上させるか？
• RQ3 交差検証による状態の統合は、固定次数のマルコフ連鎖よりも、引用フローのより正確なモジュラー記述を可能にするか？
• RQ4 本手法のモジュールフローパーティションは、1次マルコフ連鎖モデルや既存のジャーナル分類と比較してどの程度優れているか？
• RQ5 多分野にまたがるジャーナルが、結果のマップにおいて複数の研究分野に現れる程度はどの程度か？

主な発見

• 提案手法は、引用フローにおいて82%のモジュールフローパーティションを達成し、1次マルコフ連鎖モデルの59%よりも顕著に向上した。
• 本手法は、Web of Scienceのジャーナル分類（44%のモジュールフローパーティション）を上回った。
• PNAS、Science、Natureといった多分野にまたがるジャーナルは、正確に複数の研究分野に表現されており、それらの横断的影響を反映している。
• マップは、微生物学や植物科学におけるPNASを通る引用フローが、主にその分野内で持続していることを示しており、文脈依存のフローフレームワークを示している。
• スパースなマルコフ連鎖の使用により、従来の1次モデルが強制する排他的なモジュール割り当てとは異なり、重複するコミュニティ構造が可能になった。
• 本手法は最小限の計算オーバーヘッドで、フローパーティションを23パーセンテージポイント向上させた。これは、優れたデータ圧縮とパターン検出能力を示している。