[論文レビュー] Graph-Based Two-Sample Tests for Data with Repeated Observations

Jingru Zhang, Hao Chen|arXiv (Cornell University)|Nov 12, 2017

Complex Network Analysis Techniques参考文献 15被引用数 4

ひとこと要約

本稿では、繰り返し観測が存在するデータに対する拡張型グラフベース二標本検定を提案する。従来の類似度グラフ（例：MST、MDP）は同値のため曖昧になるが、本稿では一般化型、重み付き型、最大型の新しい検定統計量を導入し、解析的p値近似を用いることで、頑健性とスケーラビリティを確保する。主な貢献は、グラフが一意でない場合でも一貫性があり、計算が高速なフレームワークを提供することであり、電話通話ネットワークデータ上で検証された結果、繰り返し観測においてもp値の安定性が顕著に保たれている。

ABSTRACT

In the regime of two-sample comparison, tests based on a graph constructed on observations by utilizing similarity information among them is gaining attention due to their flexibility and good performances for high-dimensional/non-Euclidean data. However, when there are repeated observations, these graph-based tests could be problematic as they are versatile to the choice of the similarity graph. We propose extended graph-based test statistics to resolve this problem. The analytic p-value approximations to these extended graph-based tests are derived to facilitate the application of these tests to large datasets. The new tests are illustrated in the analysis of a phone-call network dataset. All tests are implemented in an R package gTests.

研究の動機と目的

• 繰り返し観測によって類似度グラフが一意でない場合に生じるグラフベース二標本検定の不安定性を解消すること。
• グラフ構築の曖昧性があっても一貫性があり、検出力が高い拡張型検定統計量の開発。
• 大規模データ応用に適した、再サンプリングを回避する解析的p値近似の導出。
• ネットワークや高次元データなど、距離の同値や繰り返し観測がある実世界のデータセットにおいて、頑健性と信頼性を確保すること。
• 既存のRパッケージgTestsと互換性を持つ統合的で即時利用可能な検定フレームワークの提供。

提案手法

• 類似度グラフが一意でない場合に備えて、一般化型エッジカウント検定と重み付きエッジカウント検定を拡張し、サンプル内およびサンプル間のエッジ数に基づく新しい統計量を定義する。
• 一般化型および重み付きエッジカウントを統合した最大型統計量を導入し、多様な代替仮説下での検出力を向上させる。
• 拡張型検定統計量の解析的漸近分布を導出し、再サンプリングを要せず高速なp値計算を可能にする。
• 重み付きエッジカウント検定において分散安定化重みを適用し、分散を最小化し、位置シフトへの感受性を高める。
• 複数の可能なグラフに対してユニオンおよび平均化戦略を用いて結果を統合し、頑健性を向上させる。
• 解析的p値をパーミュテーションベースの推定と比較し、シミュレーションおよび実データにおいて良好な一致を示した。

実験結果

リサーチクエスチョン

• RQ1 類似度グラフが繰り返し観測によって一意でない場合に、グラフベース二標本検定をどのようにして頑健に保てるか。
• RQ2 拡張型エッジカウント検定統計量に対して、大規模応用を可能にする解析的p値近似を導出できるか。
• RQ3 グラフが曖昧な状況下で、新しい検定統計量の検出力と第1種過誤の制御性能はどのように評価できるか。
• RQ4 実世界のデータにおいて距離の同値が存在する場合、グラフの非一意性がp値の安定性に与える影響は何か。
• RQ5 繰り返し観測がある高次元またはネットワークデータにおいて、拡張型検定は既存手法と比較して、分布の差を検出する能力に優れているか。

主な発見

• 一般化型および重み付きエッジカウント検定は、非一意なグラフ下で不安定となり、異なる有効なグラフ間でp値が著しく変動する（例：電話通話ネットワークデータで0.004から0.142まで変動）。
• 提案された拡張型検定統計量（最大型およびユニオン／平均化戦略を含む）は、異なるグラフ実現に対して一貫したp値を示し、不安定性を解消した。
• 漸近分布からの解析的p値はパーミュテーションベースのp値とよく一致しており（例：S(a)で0.040 vs. 0.042）、数百規模のサンプルサイズにおいてその正確性が裏付けられた。
• 拡張型重み付きエッジカウント検定（Rw(a)）はp値0.007を達成し、有意水準α=0.05で帰無仮説を棄却したが、元のエッジカウント検定は分散の増幅により失敗（p=0.040）した。
• κ=1.31の最大型検定M(a)(κ)はp値0.009を示し、重み付き検定とよく一致しており、位置シフトの検出において強い一貫性を示した。
• 類似度グラフが一意に定まらない場合でも、拡張型検定は高い検出力と安定性を維持するため、繰り返し観測がある実世界データに適している。