[論文レビュー] Multiscale Fisher's Independence Test for Multivariate Dependence

Shai Gorsky, Li Ma|arXiv (Cornell University)|Jun 18, 2018

Statistical Methods and Inference参考文献 20被引用数 4

ひとこと要約

本稿では、多変量の独立性を、粗いものから細かいものへの離散化を経て、$2\times2$分割表における逐次的一元独立性検定に分解することで、スケーラブルでリサンプリングを不要とする多スケールフィッシャー独立性検定（MultiFIT）を提案する。有限標本における水準制御と強い一致性を達成し、近似的に線形の計算複雑性を持つため、大規模なデータセットにおいても効率的な推論が可能であり、同時に依存構造の本質を学習できる。

ABSTRACT

Identifying dependency in multivariate data is a common inference task that arises in numerous applications. However, existing nonparametric independence tests typically require computation that scales at least quadratically with the sample size, making it difficult to apply them to massive data. Moreover, resampling is usually necessary to evaluate the statistical significance of the resulting test statistics at finite sample sizes, further worsening the computational burden. We introduce a scalable, resampling-free approach to testing the independence between two random vectors by breaking down the task into simple univariate tests of independence on a collection of 2x2 contingency tables constructed through sequential coarse-to-fine discretization of the sample space, transforming the inference task into a multiple testing problem that can be completed with almost linear complexity with respect to the sample size. To address increasing dimensionality, we introduce a coarse-to-fine sequential adaptive procedure that exploits the spatial features of dependency structures to more effectively examine the sample space. We derive a finite-sample theory that guarantees the inferential validity of our adaptive procedure at any given sample size. In particular, we show that our approach can achieve strong control of the family-wise error rate without resampling or large-sample approximation. We demonstrate the substantial computational advantage of the procedure in comparison to existing approaches as well as its decent statistical power under various dependency scenarios through an extensive simulation study, and illustrate how the divide-and-conquer nature of the procedure can be exploited to not just test independence but to learn the nature of the underlying dependency. Finally, we demonstrate the use of our method through analyzing a large data set from a flow cytometry experiment.

研究の動機と目的

• 大規模な多変量データセットにおける既存の非パラメトリック独立性検定の計算上的な非現実性に対処すること。
• 有限標本における有意性検定においてリサンプリングや漸近的近似に依存しないようにすること。
• 標本サイズに応じて効率的にスケーリングしつつ、正確な水準制御を維持する手法の開発。
• 依存関係の空間的構造を活用して、必要な一元独立性検定の数を削減すること。
• 独立性検定に加え、多変量依存関係の性質の学習を可能にすること。

提案手法

• 本手法は、標本空間の逐次的な粗いものから細かいものへの離散化によって得られる$2\times2$分割表の上での複数の仮説検定問題に、多変量独立性検定を変換する。
• 関連するスケールのみを段階的に選択的にテストする粗いものから細かいものへの逐次的適応的手順を採用し、計算負荷を軽減する。
• 各$2\times2$表に対してフィッシャーの正確確率検定を適用し、推論の改善のためのmid-p補正をp値に施す。
• 家族誤差率を制御し、有限標本の妥当性を保証するために、閉じた検定アプローチを用いる。
• アルゴリズムは、データに適応する基準に基づいて解像度レベルを動的に選択し、潜在的な依存関係が存在する領域に焦点を当てる。
• 最大解像度は、$n$を標本サイズとして、$\lfloor \log_2(n/10) \rfloor$に設定する。

実験結果

リサーチクエスチョン

• RQ1 近似的に線形の計算複雑性を持つ非パラメトリック多変量独立性検定を設計できるか？
• RQ2 リサンプリングや漸近的近似なしに、有限標本における水準制御を達成できるか？
• RQ3 データに適応する粗いものから細かいものへの離散化により、一元独立性検定の数を削減しつつ、検出力は維持できるか？
• RQ4 大標本において強い一貫性を保持できるか？
• RQ5 分割統治構造により、多変量依存関係の空間的性質を明らかにできるか？

主な発見

• シミュレーションにより、最大2000観測値までを想定した結果、MultiFITはリサンプリングや漸近的近似なしに、任意の標本サイズで有限標本における水準制御を達成していることが確認された。
• 既存の手法と比較して顕著な計算高速化が実現され、すべてのシナリオにおいて実行時間が標本サイズにほぼ線形にスケーリングした。
• 線形的、放物線的、局所的依存関係を含むさまざまな依存構造下でも、MultiFITは強固な検出力を維持しており、特に$p^* \geq 0.05$および$R^* \geq 2$にチューニングした場合に顕著であった。
• 特に高次元設定において、全探索と比較して検定回数を顕著に削減する適応的手順が実現された。
• フローサイトメトリー応用において、MultiFITは従来手法が見逃していた生物学的に意味のある依存関係を効果的に同定した。
• 埋め込まれた信号を含むシミュレーション状況において、局所的依存関係の検出において、他の手法を上回る性能を示し、本手法の依存構造の局所化能力が妥当性を確認された。