[論文レビュー] Distribution-Free Tests of Independence with Applications to Testing More Structures

Fang Han, Han Liu|arXiv (Cornell University)|Oct 15, 2014

Random Matrices and Applications参考文献 69被引用数 13

ひとこと要約

本稿では、n個のi.i.d.標本を用いて、d次元の確率的ベクトルにおける相互独立性を検定するための分布フリーなランクベースの検定統計量を提案する。これらの検定、特にケンダールのtauおよびスピアマンのrhoに基づくものも含め、最大の対間相関係数が絶対定数Cに対してC√(log d / n)を超えるとき、パワーが1に近づくという点でレート最適性が確立されている。さらに、m-従属性およびデータ同一性の検定へのフレームワークの拡張も行われる。

ABSTRACT

We consider the problem of testing mutual independence of all entries in a d-dimensional random vector X = (X1,..., Xd) T based on n independent observations. For this, we consider two families of distribution-free test statistics that converge weakly to an extreme value type I distribution. We further study the powers of the corresponding tests against certain alternatives. In particular, we show that the powers tend to one when the maximum magnitude of the pairwise Pearson’s correlation coefficients is larger than C log d/n for some absolute constant C. This result is rate optimal. As important examples, we show that the tests based on Kendall’s tau and Spearman’s rho are rate optimal tests of independence. For further generalization, we consider accelerating the rate of convergence via approximating the exact distributions of the test statistics. We also study the tests of two more structural hypotheses: m-dependence and data homogeneity. For these, we propose two rank-based tests and show their optimality.

研究の動機と目的

• パrametricな分布の仮定をしない高次元の確率的ベクトルにおける相互独立性のための分布フリーな検定を開発すること。
• 弱い従属仮定の下でランクベースの検定統計量のレート最適性を確立すること。
• m-従属性およびデータ同一性などの追加の構造的仮説の検定にフレームワークを拡張すること。
• 分布近似技術を用いて正確な帰無分布への収束を加速すること。

提案手法

• d次元のベクトルにおける相互独立性の検定のため、ケンダールのtauやスピアマンのrhoなどのランク相関に基づく2つの分布フリーな検定統計量の族を提案する。
• 帰無仮説である独立性の下で、検定統計量がタイプI極値分布に弱収束することを確立する。
• 最大対間ピアソン相関係数がC√(log d / n)を超える代替仮説の下での検定統計量の挙動を分析することで、漸近的パワーの結果を導出する。
• 正確な帰無分布への収束を加速するための分布近似を導入し、有限標本性能を改善する。
• 類似のランクベースの統計量を用いて、m-従属性およびデータ同一性の構造的仮説の検定に検定フレームワークを適応する。
• 最小の信号強度条件の下でパワーが1に近づくことの証明により、提案された検定の最適性を示す。

実験結果

リサーチクエスチョン

• RQ1 相互独立性のためのランクベースの検定統計量は、弱い従属仮定の下で分布フリーかつレート最適であるか？
• RQ2 パワーが漸近的に1に近づくために必要な最小の信号強度は何か？そしてそのレートは最適か？
• RQ3 分布近似を用いることで、検定統計量の帰無分布への収束速度を加速できるか？
• RQ4 m-従属性およびデータ同一性の検定に同様の最適性保証を伴ってフレームワークを拡張できるか？

主な発見

• ケンダールのtauおよびスピアマンのrhoに基づく提案された検定は、相互独立性の検定においてレート最適である。
• ある絶対定数Cに対して、最大の対間ピアソン相関係数の絶対値がC√(log d / n)を超えるとき、検定のパワーは1に近づく。
• 帰無仮説である独立性の下で、検定統計量はタイプI極値分布に弱収束する。
• 類似のランクベースの統計量を用いて、m-従属性およびデータ同一性の検定へのフレームワークの拡張は成功裏に達成された。
• 分布近似が正確な帰無分布への収束を加速することが示され、有限標本性能が向上した。
• 結果として、高次元設定における従属の検出可能性の鋭い閾値が確立され、既知のミニマックス下界と一致する。