[論文レビュー] Nonparametric Independence Testing for Small Sample Sizes

Aaditya Ramdas, Leila Wehbe|arXiv (Cornell University)|Jun 7, 2014

Advanced Statistical Methods and Models参考文献 13被引用数 5

ひとこと要約

本稿では、小標本サイズにおける非パラメトリック独立性検定のためのヒルベルト＝シュミット独立性基準（HSIC）の統計的パワーを向上させるために、縮小推定子（特に線形のSCOSEおよび非線形のFCOSE）の使用を提案する。経験的交差共分散作用素推定量の分散を低減することで、縮小推定は微細な非線形依存関係の検出を向上させ、FCOSEは一貫してSCOSEおよび非縮小HSICを上回るパワーを示す。

ABSTRACT

This paper deals with the problem of nonparametric independence testing, a fundamental decision-theoretic problem that asks if two arbitrary (possibly multivariate) random variables $X,Y$ are independent or not, a question that comes up in many fields like causality and neuroscience. While quantities like correlation of $X,Y$ only test for (univariate) linear independence, natural alternatives like mutual information of $X,Y$ are hard to estimate due to a serious curse of dimensionality. A recent approach, avoiding both issues, estimates norms of an extit{operator} in Reproducing Kernel Hilbert Spaces (RKHSs). Our main contribution is strong empirical evidence that by employing extit{shrunk} operators when the sample size is small, one can attain an improvement in power at low false positive rates. We analyze the effects of Stein shrinkage on a popular test statistic called HSIC (Hilbert-Schmidt Independence Criterion). Our observations provide insights into two recently proposed shrinkage estimators, SCOSE and FCOSE - we prove that SCOSE is (essentially) the optimal linear shrinkage method for extit{estimating} the true operator; however, the non-linearly shrunk FCOSE usually achieves greater improvements in extit{test power}. This work is important for more powerful nonparametric detection of subtle nonlinear dependencies for small samples.

研究の動機と目的

• 標本サイズが小さい場合の非パラメトリック独立性検定における低統計的パワーの課題に対処すること。
• 経験的交差共分散作用素推定量の縮小が、HSICの検出力に改善をもたらすかどうかを調査すること。
• 線形（SCOSE）および非線形（FCOSE）の縮小推定子の性能を比較し、HSICが微細な非線形依存関係を検出する能力をどのように向上させるかを検討すること。
• 小標本における非パラメトリック独立性検定に縮小を適用する根拠（実証的および理論的）を提供すること。

提案手法

• 検定統計量としてヒルベルト＝シュミット独立性基準（HSIC）を採用し、これは経験的交差共分散作用素の二乗ヒルベルト＝シュミットノルムとして定義される。
• 中心化されたカーネル行列 $ \widetilde{K}, \widetilde{L} $ を用いて、HSIC を $ \mathrm{HSIC} = \frac{1}{n^2}\mathrm{tr}(\widetilde{K}\widetilde{L}) $ で計算する。
• 線形縮小をSCOSE（交差検証による縮小推定子）により実装し、真の作用素推定において線形縮小推定子の中で最適であることが証明されている。
• 非線形縮小をFCOSE（融合交差検証推定子）により実装し、これはSCOSEよりも高いパワー向上を実現する。
• パーミュテーション検定を用いて、検定統計量の帰無分布を推定し、非縮小版と縮小版を比較する。
• 縮小が、パーミュテーションされた帰無分布の95%分位数と比較して、未パーミュテーション統計量の相対的尾部位置に与える影響を分析する。

実験結果

リサーチクエスチョン

• RQ1 経験的交差共分散作用素推定量の縮小は、小標本サイズにおけるHSICの統計的パワーを向上させるか？
• RQ2 SCOSEは、この文脈における真の交差共分散作用素の最適な線形縮小推定子であるか？
• RQ3 非線形縮小（FCOSE）は、線形縮小（SCOSE）よりも高いパワー向上をもたらすか？
• RQ4 なぜ縮小は、帰無分布の右端尾部においてパワーを向上させるのか？
• RQ5 どのような条件下で縮小は性能を低下させず、またいつ不適切となるのか？

主な発見

• 経験的交差共分散作用素推定量の縮小は、特に小標本において、低有意水準（第一種の誤り率）でのHSICのパワーを一貫して向上させる。
• SCOSEは、真の作用素を推定するためのすべての線形縮小手法の中で最適であることが証明されている。
• 非線形縮小推定子であるFCOSEは、一般にSCOSEおよび非縮小HSICよりも高いパワー向上を達成する。
• その改善は、縮小が帰無分布の分散を未パーミュテーション統計量よりもより大きく低減するためであり、その結果、帰無分布の右端尾部において統計量がより顕著に際立つようになる。
• すべてのテストされた合成データおよび実データセットにおいて、縮小は実用的関心領域（低有意水準）でパワーを向上させたり、最悪でも悪化させないことが確認された。
• 結果から、神経科学や因果推論などの小標本科学的応用において、微細な非線形依存関係を検出するための縮小は価値あるツールであると考えられる。