[論文レビュー] High dimensional independence testing with maxima of rank correlations

Mathias Drton, Fang Han+1 more|arXiv (Cornell University)|Dec 14, 2018

Random Matrices and Applications被引用数 5

ひとこと要約

本稿は、Hoeffdingの$D$、Blum-Kiefer-Rosenblattの$R$、Bergsma-Dassios-Yanagimotoの$\alpha^*$を含む、ペアワイズ順位相関の最大値に基づく、分布フリーでパーミュテーションフリーな高次元独立性検定の族を提案する。退化U統計量に対する新しいCramér型中程度偏差定理を用いて、ガウスコプサモデル下でのスパース代替仮説に対するレート最適な検出を達成し、3つの順位相関統計量の間の新しい恒等式を明らかにする。

ABSTRACT

Testing mutual independence for high dimensional observations is a fundamental statistical challenge. Popular tests based on linear and simple rank correlations are known to be incapable of detecting non-linear, non-monotone relationships, calling for methods that can account for such dependences. To address this challenge, we propose a family of tests that are constructed using maxima of pairwise rank correlations that permit consistent assessment of pairwise independence. Built upon a newly developed Cram\'{e}r-type moderate deviation theorem for degenerate U-statistics, our results cover a variety of rank correlations including Hoeffding's $D$, Blum-Kiefer-Rosenblatt's $R$, and Bergsma-Dassios-Yanagimoto's $ au^*$. The proposed tests are distribution-free, implementable without the need for permutation, and are shown to be rate-optimal against sparse alternatives under the Gaussian copula model. As a by-product of the study, we reveal an identity between the aforementioned three rank correlation statistics, and hence make a step towards proving a conjecture of Bergsma and Dassios.

研究の動機と目的

• 非線形的で単調でない依存関係を高次元データで検出できる線形相関や単純な順位相関検定の限界を克服すること。
• 分布フリーでパーミュテーションリサンプリングを必要としない独立性検定のクラスを構築すること。
• 高次元設定下でのスパース代替仮説に対して、提案手法の理論的一貫性と最適性を確立すること。
• Hoeffdingの$D$、Blum-Kiefer-Rosenblattの$R$、Bergsma-Dassios-Yanagimotoの$\alpha^*$の間の新しい恒等式を明らかにし、分野における仮説を前進させること。

提案手法

• 本手法は、高次元データにおける全変数ペア間のペアワイズ順位相関の最大値として検定統計量を構築する。
• 退化U統計量に対するCramér型中程度偏差定理を用いて、検定統計量の漸近的帰無分布を導出する。
• Hoeffdingの$D$、Blum-Kiefer-Rosenblattの$R$、$\alpha^*$を含む複数の順位相関測度に適用可能であり、広範な適用可能性を有する。
• 帰無仮説の独立性のもとで分布フリーであるため、パーミュテーション手順の必要がなくなる。
• ガウスコプサモデル下で理論的保証が得られ、スパース代替仮説に対するレート最適性が示される。
• 帰無仮説下での3つの順位相関統計量の漸近的同等性を活用し、それらの間の新しい恒等式を導出する。

実験結果

リサーチクエスチョン

• RQ1 パーミュテーションリサンプリングに依存せずに、非線形的かつ非単調な依存関係を一貫して検出できる高次元独立性検定を構築できるか？
• RQ2 帰無仮説の独立性のもとで、ペアワイズ順位相関の最大値は漸近的に分布フリーか？
• RQ3 ガウスコプサモデル下で、高次元データにおけるスパース代替仮説を検出する本手法は、レート最適か？
• RQ4 Hoeffdingの$D$、Blum-Kiefer-Rosenblattの$R$、Bergsma-Dassios-Yanagimotoの$\alpha^*$は、帰無仮説下でより深い統計的恒等性を共有するか？
• RQ5 高次元設定下で、退化U統計量に対するCramér型中程度偏差定理を確立できるか？

主な発見

• ペアワイズ順位相関の最大値に基づく提案手法は、帰無仮説の独立性のもとで分布フリーであり、パーミュテーションを用いずに正確な推論が可能である。
• ガウスコプサモデル下でスパース代替仮説に対するレート最適性を達成し、高次元における検出の理論的下界と一致する。
• Hoeffdingの$D$、Blum-Kiefer-Rosenblattの$R$、Bergsma-Dassios-Yanagimotoの$\alpha^*$の間で、新しい恒等式が確立され、これらの順位相関測度の統一的視点が得られた。
• 理論的枠組みは、退化U統計量に対する新しいCramér型中程度偏差定理に依拠しており、高次元設定下での正確な尾確率近似を可能にする。
• パーミュテーションを必要としないため、高次元データ解析における計算効率が著しく向上する。