[論文レビュー] Overcoming the complexity barrier of the dynamic message-passing method in networks with fat-tailed degree distributions

Giuseppe Torrisi, Alessia Annibale+1 more|arXiv (Cornell University)|May 10, 2021

Complex Network Analysis Techniques参考文献 65被引用数 7

ひとこと要約

本稿では、ノードのインデグリーディストリビューションが重尾を持つストキャスティックブールネットワークの効率的解析を可能にする動的プログラミングアルゴリズムを提案する。この手法により、動的メッセージパッシング法の計算複雑性をノードのインデグリーに応じて指数的から二次的へと低減し、離散的かつ等間隔の結合を活用することで、長年の計算複雑性の障壁を克服した。本手法は、このような系における定常的活性化パターンのノイズ依存的非一様性を明確にした。

ABSTRACT

The dynamic cavity method provides the most efficient way to evaluate probabilities of dynamic trajectories in systems of stochastic units with unidirectional sparse interactions. It is closely related to sum-product algorithms widely used to compute marginal functions from complicated global functions of many variables, with applications in disordered systems, combinatorial optimization and computer science. However, the complexity of the cavity approach grows exponentially with the in-degrees of the interacting units, which creates a de-facto barrier for the successful analysis of systems with fat-tailed in-degree distributions. In this manuscript, we present a dynamic programming algorithm that overcomes this barrier by reducing the computational complexity in the in-degrees from exponential to quadratic, whenever couplings are chosen randomly from (or can be approximated in terms of) discrete, possibly unit-dependent, sets of equidistant values. As a case study, we analyse the dynamics of a random Boolean network with a fat-tailed degree distribution and fully asymmetric binary $\pm J$ couplings, and we use the power of the algorithm to unlock the noise dependent heterogeneity of stationary node activation patterns in such a system.

研究の動機と目的

• 重尾的インデグリー分布を示す系における動的メッセージパッシングの指数的計算複雑性に対処すること。
• 高いインデグリーと非対称的相互作用を有する確率的系の解析的取り扱いを妨げる事実上の障壁を克服すること。
• スパースで有限次元の結合を持つネットワークに適用可能なスケーラブルな手法を開発すること。
• 重尾的インデグリー分布を有する確率的ブールネットワークにおける定常的ノード活性化パターンのノイズ依存的非一様性を分析すること。
• パワーラウ法インデグリー分布を有するネットワークにおける事例研究を通じて、手法の効率性と正確性を示すこと。

提案手法

• 時間依存の周辺確率の計算を再構成することで、インデグリーに伴う指数的スケーリングを回避する動的プログラミングアルゴリズムを提案する。
• 離散的かつ等間隔の結合値を活用することで、インデグリーに伴う複雑性を指数的から二次的へと低減する。これは、サイト依存であっても同様に有効である。
• ブール線形しきい値ダイナミクスと確率的ノイズを有する有向かつ有限結合ネットワークに対して、キャビティ法を適用する。
• 局所的フィールドとノイズ分布に基づくノード活性化確率の反復更新を採用し、相互作用が完全に非対称な場合にはマルコフ近似を用いる。
• 反復的更新の収束を通じて定常的活性化確率を計算し、直接シミュレーション結果と照合することで検証する。
• 実際の遺伝子調節ネットワークに類似するパワーラウ法インデグリー分布（γ = 2.81）を持つ合成ネットワークを生成するために、構成モデルを用いる。

実験結果

リサーチクエスチョン

• RQ1 重尾的インデグリー分布を有するネットワークに対して、動的メッセージパッシング法を計算的に実行可能にすることができるか？
• RQ2 ノイズがこのような系における定常的活性化パターンの非一様性に与える影響は何か？
• RQ3 インデグリーに伴う指数的複雑性を多項式時間へと低減しつつ、正確性を保持できるか？
• RQ4 計算コストと収束性の観点から、動的プログラミング手法は直接シミュレーションと比べてどのように異なるか？
• RQ5 完全に非対称で二値の±J結合、非可逆的ダイナミクスを有する系において、この手法はどの程度正確に保たれるか？

主な発見

• 動的プログラミングアルゴリズムにより、インデグリーに伴う計算複雑性が指数的から二次的へと低減され、高インデグリーを持つ系の解析が可能になった。
• キャビティ法による定常的ノード活性化確率の予測値は、直接シミュレーション結果と完全に一致しており、ヒストグラム比較によって確認された。
• サイズN = 200,000のネットワークにおいて、キャビティ法は50秒で収束したが、直接シミュレーションでは同じ精度（ϵ < 10−4）に到達するのには11日以上を要した。
• 本手法は、活性化パターンにおけるノイズ依存的非一様性を効果的に特定し、定常状態における非自明な統計的構造を明らかにした。
• 離散的かつ等間隔の結合を有する系に対して本手法は頑健であり、結合がサイト依存であったり、離散化によって近似されても正確性を保った。
• 本手法により、重尾的インデグリー分布を有するスパースネットワークにおける非可逆的かつ微視的に可逆なダイナミクスの解析が可能になった。これは従来のメッセージパッシング法では取り扱えなかった分野であった。