[論文レビュー] High dimensional consistent independence testing with maxima of rank correlations

Mathias Drton, Fang Han+1 more|arXiv (Cornell University)|Dec 14, 2018

Random Matrices and Applications参考文献 43被引用数 6

ひとこと要約

本稿は、2変量順位相関の最大値に基づく高次元独立性検定の族を提案する。具体的には、Hoeffdingの$D$、Blum–Kiefer–Rosenblattの$R$、Bergsma–Dassios–Yanagimotoの$\tau^*$を用い、退化U統計量の新しいCramér型中程度偏差定理を導入する。これらの検定は連続な端末分布の下で分布自由であり、パーミュテーションを用いずに実装可能であり、ガウスコプールラモデル下でのスパース代替仮説に対するレート最適性が示され、帰無分布はGumbel分布に収束する。

ABSTRACT

Testing mutual independence for high-dimensional observations is a fundamental statistical challenge. Popular tests based on linear and simple rank correlations are known to be incapable of detecting non-linear, non-monotone relationships, calling for methods that can account for such dependences. To address this challenge, we propose a family of tests that are constructed using maxima of pairwise rank correlations that permit consistent assessment of pairwise independence. Built upon a newly developed Cramér-type moderate deviation theorem for degenerate U-statistics, our results cover a variety of rank correlations including Hoeffding's $D$, Blum-Kiefer-Rosenblatt's $R$, and Bergsma-Dassios-Yanagimoto's $τ^*$. The proposed tests are distribution-free in the class of multivariate distributions with continuous margins, implementable without the need for permutation, and are shown to be rate-optimal against sparse alternatives under the Gaussian copula model. As a by-product of the study, we reveal an identity between the aforementioned three rank correlation statistics, and hence make a step towards proving a conjecture of Bergsma and Dassios.

研究の動機と目的

• 非線形的かつ非単調な依存関係を検出できる一貫性のある高次元独立性検定の開発。
• 線形および単純な順位相関検定の、複雑な依存構造を捉えきれないという限界の解消。
• 高度な順位相関測度に基づく最大型検定の理論的基盤の確立。
• 高次元漸近論下でのスパース代替仮説に対する提案検定のレート最適性の証明。
• Hoeffdingの$D$、Blum–Kiefer–Rosenblattの$R$、Bergsma–Dassios–Yanagimotoの$\tau^*$の3つの主要な順位相関統計量の間の新しい恒等式の解明。

提案手法

• すべての変数ペア間の順位相関推定値の最大値として検定統計量を構築する。
• Hoeffdingの$D$、Blum–Kiefer–Rosenblattの$R$、Bergsma–Dassios–Yanagimotoの$\tau^*$の推定に、退化U統計量を用いる。
• 退化U統計量の新しいCramér型中程度偏差定理を導出し、漸近的帰無分布を確立する。
• 高次元漸近論下で、これらの順位相関の最大値が非標準的Gumbel分布に分布収束することを示す。
• 連続な端末分布の下で分布自由性を確立し、サイズ制御のためのパーミュテーションリサンプリングを必要としない。
• 3つの順位相関統計量の間の新しい恒等式を用いて、それらの理論的取り扱いを統一する。

実験結果

リサーチクエスチョン

• RQ1 高次元順位相関に基づく最大型検定は、高次元設定下で一貫して対応するペアワイズ依存関係を検出可能か？
• RQ2 高次元におけるペアワイズ順位相関の最大値の漸近的帰無分布は何か？
• RQ3 ガウスコプールラモデル下で、提案された検定はスパース代替仮説に対してレート最適か？
• RQ4 Hoeffdingの$D$、Blum–Kiefer–Rosenblattの$R$、Bergsma–Dassios–Yanagimotoの$\tau^*$の間には根本的な恒等式が存在するか？
• RQ5 提案された検定はパーミュテーションを用いずに実装可能であり、正確なサイズ制御を維持できるか？

主な発見

• 高次元漸近論下で、ペアワイズ順位相関の最大値の帰無分布は非標準的Gumbel分布に収束する。
• 提案された検定は連続な端末分布の下で分布自由であり、サイズ制御のためのパーミュテーションを必要としない。
• ガウスコプールラモデル下でスパース代替仮説に対してレート最適であり、最小最大最適レートと一致する。
• 実験的パワーのシミュレーションでは、特に$\tau^*$に基づく検定が、他の競合手法を一貫して上回る。
• 3つの順位相関測度—$D$、$R$、$\tau^*$—は新しい恒等式を満たしており、BergsmaとDassiosの予想を支持する。
• さまざまな$n$および$p$の設定において、実験的サイズは名目水準（例：0.05）に近く、パワーは信号強度$\alpha$とともに単調に増加する。