[論文レビュー] A primer on statistically validated networks

Salvatore Miccichè, Rosario N. Mantegna|arXiv (Cornell University)|Feb 19, 2019

Complex Network Analysis Techniques参考文献 5被引用数 7

ひとこと要約

本稿では、ノード次数の自然な不均一性を考慮する帰無仮説を棄却することで、複雑系における顕著なリンクおよびノードを同定する統計的妥当性のあるネットワークの手法を提案する。分散フィルタおよび二部ネットワークの妥当性検証を用い、過剰または不足表現の関係を強固に検出可能であり、複数の仮説検定補正により統計的信頼性を確保する。また、実世界の多様なネットワークにおいて、前処理や安定したコミュニティコアの同定に有効であることを示す。

ABSTRACT

In this contribution we discuss some approaches of network analysis providing information about single links or single nodes with respect to a null hypothesis taking into account the heterogeneity of the system empirically observed. With this approach, a selection of nodes and links is feasible when the null hypothesis is statistically rejected. We focus our discussion on approaches using (i) the so-called disparity filter and (ii) statistically validated network in bipartite networks. For both methods we discuss the importance of using multiple hypothesis test correction. Specific applications of statistically validated networks are discussed. We also discuss how statistically validated networks can be used to (i) pre-process large sets of data and (ii) detect cores of communities that are forming the most close-knit and stable subsets of clusters of nodes present in a complex system.

研究の動機と目的

• ノード次数の不均一性を考慮する帰無仮説を検証することで、複雑ネットワークにおける非ランダムで顕著なリンクおよびノードを統計的に厳密に同定する手法の開発。
• FDR やボンフェローニ補正などの複数の仮説検定補正を統合することで、大規模ネットワーク解析における誤検出（ファルス・ポジティブ）の課題に対処する。
• 期待されるランダムパターンから逸脱する統計的妥当性のあるリンクに焦点を当てることで、コミュニティ内に安定したコア部分構造を同定することを可能にする。
• 一般ネットワークの不均一性によって説明可能な関係を除外することで、ノイズが多いまたは特異なデータを前処理する実用的フレームワークを提供する。
• コミュニティ検出やモチーフ解析を超えて、個々のリンクおよびノードを妥当性検証することで、複雑系の機能的および構造的駆動要因をより深く理解する手がかりを提供する。

提案手法

• ノード次数を保持する帰無モデル下での期待分布に対して、各リンクの重みの相対的関係に基づき、分散フィルタ法を用いてp値を各リンクに割り当てる。
• FDR やボンフェローニ補正などの複数の仮説検定補正を用い、同時にすべてのリンクを検証する際の家族-wise 有意水準を制御し、誤検出を低減する。
• 二部ネットワークの場合、ネットワークを単一部ネットワークに投影し、帰無モデルと比較して顕著に過剰または不足表現されているリンクを同定する。
• 補正後のp値が有意水準以下であるリンクのみを保持することで、統計的信頼性を確保した統計的妥当性のあるネットワークを構築する。
• 妥当性のあるネットワークを用いて、複数の確率的実現やノイズレベルにわたっても維持される最も安定した顕著な部分ネットワーク（コア）を同定することで、コミュニティのコアを検出する。
• 妥当性のあるネットワーク上でコミュニティ検出アルゴリズム（例：Louvain）を適用し、元のネットワークには見えないが、強固で情報量の多いクラスタ構造を抽出する。

実験結果

リサーチクエスチョン

• RQ1 複雑ネットワークにおける次数の不均一性の結果として生じるリンクと、統計的に顕著なリンクとをどのように区別できるか？
• RQ2 複数の仮説検定補正（例：FDR 対 ボンフェローニ）が、統計的妥当性のあるネットワークの正確性および情報量に与える影響は何か？
• RQ3 統計的妥当性のあるネットワークは、ノイズやランダムな揺らぎに隠されたままの、コミュニティ内の安定したコア部分構造をどの程度まで明らかにできるか？
• RQ4 統計的妥当性のあるネットワークは、特異的または顕著でない関係を除外することで、大規模でノイズの多いデータセットをどのように前処理に利用できるか？
• RQ5 ノイズへの耐性やコミュニティ検出性能の観点から、妥当性のあるネットワークの構造的特性は、元のネットワークと比べてどのように異なるか？

主な発見

• 特にFDR補正がボンフェローニ補正よりも、より情報量が多く、精度の高い統計的妥当性のあるネットワークをもたらす。ボンフェローニ補正は過剰に慎重である傾向にある。
• 調整ランダ指数（Radj）と調整ウォレス指数（Wadj）の結果から、統計的妥当性のあるネットワークにおけるコミュニティ分割は、ノイズ下でも元のネットワークよりも一貫性があり、より頑健であることが示された。
• 妥当性のあるネットワークで同定されたコミュニティコアは、異なる確率的実現やノイズレベルにわたって安定しており、最も凝集的かつ機能的に関連の深い部分ネットワークを表していることが示された。
• コミュニティ検出の精度において、統計的妥当性のあるネットワークは元のネットワークを上回っており、複数の分割において平均的な調整ランダ指数およびウォレス指数が高かった。
• 本手法は、金融取引ネットワーク、共同著者ネットワーク、社会的相互作用データなど多様なシステムで、過剰表現および不足表現の関係を効果的に同定し、非ランダムな構造的パターンを明らかにした。
• R言語およびGitHub上で統計的妥当性検証を実装するためのソフトウェアツールが利用可能であり、ネットワークの投影、コミュニティ検出、指標計算のモジュールを含むため、再現性と応用が容易である。