[論文レビュー] Exact Detection Thresholds for Chatterjee's Correlation

Arnab Auddy, Nabarun Deb+1 more|arXiv (Cornell University)|Apr 30, 2021

Bayesian Methods and Mixture Models参考文献 33被引用数 7

ひとこと要約

本稿は、非パラメトリックな代替仮説が帰無仮説に収束する場合のチャタージーの順位ベースの相関係数独立性検定の正確な検出閾値および限界パワーを確立する。第二階層のポアンカーレ不等式と非漸近的射影定理を用いて、非標準的な $n^{-1/4}$ 検出境界を導出し、混合モデル、回転モデル、ノイズあり非パラメトリック回帰モデルの明示的な局所パワーを計算する。

ABSTRACT

Recently, Chatterjee (2021) introduced a new rank-based correlation coefficient which can be used to test for independence between two random variables. His test has already attracted much attention as it is distribution-free, consistent against all fixed alternatives, asymptotically normal under the null hypothesis of independence and computable in (near) linear time; thereby making it appropriate for large-scale applications. However, not much is known about the power properties of this test beyond consistency against fixed alternatives. In this paper, we bridge this gap by obtaining the asymptotic distribution of Chatterjee's correlation under any changing sequence of alternatives converging to the null hypothesis (of independence). We further obtain a general result that gives exact detection thresholds and limiting power for Chatterjee's test of independence under natural nonparametric alternatives converging to the null. As applications of this general result, we prove a non-standard $n^{-1/4}$ detection boundary for this test and compute explicitly the limiting local power on the detection boundary, for popularly studied alternatives in literature such as mixture models, rotation models and noisy nonparametric regression. Moreover our convergence results provide explicit finite sample bounds that depend on the distance between the null and the alternative. Our proof techniques rely on second order Poincare type inequalities and a non-asymptotic projection theorem.

研究の動機と目的

• 固定代替仮説に対する一貫性を超えたチャタージーの相関係数検定のパワー特性に関する理解の欠如に対処すること。
• 帰無仮説（独立性）に収束する代替仮説の系列におけるチャタージーの相関係数の漸近的分布を導出すること。
• 一般の非パラメトリック代替仮説が独立性に近づく場合のチャタージー検定の正確な検出閾値および限界パワーを確立すること。
• 帰無仮説と代替仮説の分布間の距離に依存する明示的な有限標本バウンドを提供すること。
• 混合モデル、回転モデル、ノイズあり非パラメトリック回帰モデルなどの特定のモデルに一般結果を適用すること。

提案手法

• 第二階層のポアンカーレ型不等式を用いて、帰無仮説に収束する代替仮説の系列におけるチャタージーの相関係数の漸近的分布を導出する。
• 非漸近的射影定理を適用して、検定統計量がその漸近的分布からどれほど逸脱するかを制御する。
• 非パラメトリック代替仮説が独立性に収束する状況における検出閾値を特徴付ける一般枠組みを用いる。
• 代替仮説が帰無仮説に収束する速度を分析することで、検出境界上での限界局所パワーを計算する。
• 混合モデル、回転モデル、ノイズあり非パラメトリック回帰モデルに対して理論的枠組みを適用し、限界パワーの明示的表現を導出する。
• 帰無仮説と代替仮説の距離に依存する有限標本バウンドを確立する。

実験結果

リサーチクエスチョン

• RQ1 代替仮説が非標準的な速度で帰無仮説に収束する場合、チャタージーの相関係数検定の正確な検出閾値は何か？
• RQ2 混合モデル、回転モデル、ノイズあり非パラメトリック回帰モデルにおいて、$n^{-1/4}$ 検出境界上でのチャタージー検定の限界局所パワーはどのように振る舞うか？
• RQ3 帰無仮説と代替仮説の分布間の距離に依存する有限標本バウンドは何か？
• RQ4 第二階層のポアンカーレ不等式と非漸近的射影が、局所代替仮説下での漸近的分布の導出にどのように寄与するか？
• RQ5 代替仮説が独立性に近づく際、混合モデル、回転モデル、ノイズあり非パラメトリック回帰モデルにおけるチャタージー検定の限界パワーは何か？

主な発見

• 本稿は、チャタージー検定の非標準的な $n^{-1/4}$ 検出境界を確立し、代替仮説が帰無仮説にどれほど速く収束すれば検出可能かを示している。
• 混合モデル、回転モデル、ノイズあり非パラメトリック回帰モデルにおける、$n^{-1/4}$ 検出境界上でのチャタージー検定の明示的な限界局所パワーを計算した。
• 任意の帰無仮説（独立性）に収束する代替仮説の系列において、チャタージーの相関係数の漸近的分布が導出された。
• 帰無仮説と代替仮説の分布間の距離に依存する有限標本バウンドが提供され、実用的なパフォーマンス保証が得られた。
• 第二階層のポアンカーレ不等式と非漸近的射影定理の使用により、局所代替仮説下での検定の挙動を正確に制御できるようになった。
• 結果は、チャタージー検定がゆっくり収束する代替仮説に対しても非自明なパワーを維持することを確認しており、大規模な設定における有用性を裏付けている。