[論文レビュー] Practical methods for graph two-sample testing

Debarghya Ghoshdastidar, Ulrike von Luxburg|arXiv (Cornell University)|Nov 30, 2018

Statistical Methods in Clinical Trials被引用数 24

ひとこと要約

本稿では、特にサンプルサイズが小さい場合（m=1 または m>1）に、大規模なグラフの集団間の差を検出することを目的とした、2つの新しい漸近的分布に基づくグラフ二標本検定——Asymp-Normal および Asymp-TW——を提案する。これらの手法は計算的に効率的であり、ブートストラップ手法よりも信頼性が高く、実世界のネットワーク（オレゴンルーターデータセットなど）を用いた準実験的実験において、グラフの摂動が大きくなるに従い、p値が指数関数的に減少するなど、高い検出力を持つことが示された。

ABSTRACT

Hypothesis testing for graphs has been an important tool in applied research fields for more than two decades, and still remains a challenging problem as one often needs to draw inference from few replicates of large graphs. Recent studies in statistics and learning theory have provided some theoretical insights about such high-dimensional graph testing problems, but the practicality of the developed theoretical methods remains an open question. In this paper, we consider the problem of two-sample testing of large graphs. We demonstrate the practical merits and limitations of existing theoretical tests and their bootstrapped variants. We also propose two new tests based on asymptotic distributions. We show that these tests are computationally less expensive and, in some cases, more reliable than the existing methods.

研究の動機と目的

• 少数の大規模グラフしか入手できない状況、特に繰り返し回数が限られた高次元設定におけるグラフ二標本検定の課題に対処すること。
• 小標本領域で遅くかつ信頼性が低い既存のブートストラップ手法の代替として、計算的に効率的な手法を開発すること。
• 特に神経画像や分子ネットワークにおいて、大規模グラフの集団間の差を検出する際の統計的信頼性と検出力の向上を図ること。
• 理論的グラフ検定手法を実応用研究者に利用しやすくするために、Matlabによる実装を提供すること。

提案手法

• m>1 個の標本に対して、帰無仮説の下でのグラフ統計量の漸近的正規分布に基づく Asymp-Normal を提案する。
• m=1 の場合に適した、帰無仮説の下での統計量の漸近的分布に依存する Asymp-TW を導入し、コミュニティ構造に依存する。
• 大規模かつスパースなネットワークにおけるコミュニティ検出に、スペクトルクラスタリングおよび BigClam を用い、Asymp-TW における近似を可能にする。
• ブートストラップと異なり、リサンプリングを必要としない漸近的理論を用いてp値を導出することで、計算コストを低減する。
• エッジ数や部分グラフ数といったグラフ統計量を検定統計量として用い、モデル仮定の下での理論的裏付けを提供する。
• 実ネットワークデータ（オレゴンルーターデータセットを含む）を用いた準実験的実験を通じて、制御された摂動を加えた結果、手法の妥当性を検証する。

実験結果

リサーチクエスチョン

• RQ1 小標本領域（m=1 または m>1）において、漸近的帰無分布を用いて信頼性が高く高速なグラフ二標本検定を構築できるか？
• RQ2 高次元グラフ検定において、漸近的検定はブートストラップ手法と比較して、検出力と信頼性において優れているか？
• RQ3 頂点対応のない実世界のスパースで大規模なネットワークに適用した場合、漸近的検定の性能はいかがなものか？
• RQ4 BigClam などのコミュニティ検出手法を、大規模ネットワーク向けの漸近的グラフ検定に効果的に統合できるか？
• RQ5 グラフの摂動が大きくなるに従い、p値はどのように変化するか？また、真の統計的有意性を反映しているか？

主な発見

• Asymp-Normal では、プラントされた Erdős-Rényi 部分グラフのエッジ密度が 0.2 から 0.4 に増加するに従い、p値が線形に減少（-ln(p値)が指数関数的に増加）する傾向を示し、強力な検出能力を示した。
• 一定の平均次数を持つスパースなプラントグラフにおいて、-ln(p値)は部分グラフサイズに対してわずかに非線形的に上昇する傾向を示し、構造的変化への感受性を確認した。
• Asymp-TW はエッジの摂動を効果的に検出できた：トグルされたエッジ数（最大300まで）が増加するに従い、-ln(p値)が急激に増加し、全エッジ数に比べて極めて小さな割合の摂動でも検出可能であった。
• オレゴン-2 ネットワークはオレゴン-1 よりも密度が高いため、やや低い検定統計量を示した。これは、ベースラインのネットワーク構造への感受性を示している。
• BigClam を用いたコミュニティ検出により、Asymp-TW が大規模かつスパースなネットワークに対しても信頼性を持って適用可能であることが確認され、実用性が裏付けられた。
• 全体として、提案された漸近的検定は、計算効率と信頼性の両面でブートストラップ手法を上回っており、特に低標本領域で顕著な優位性を示した。