[논문 리뷰] Exact Detection Thresholds for Chatterjee's Correlation

Arnab Auddy, Nabarun Deb외 1명|arXiv (Cornell University)|2021. 04. 30.

Bayesian Methods and Mixture Models참고 문헌 33인용 수 7

한 줄 요약

이 논문은 비모수적 대안이 영가설로 수렴할 때 찰리지의 순위 기반 상관계수 검정의 정확한 탐지 임계값과 점점 줄어드는 검정력에 대해 설정한다. 두 번째 차수의 파인카레 부등식과 비점점적 투영 정리의 활용으로 비표준적인 $n^{-1/4}$ 탐지 경계를 도출하고, 혼합, 회전, 노이즈가 있는 비모수적 회귀 모델에 대해 명시적인 국소 검정력을 계산한다.

ABSTRACT

Recently, Chatterjee (2021) introduced a new rank-based correlation coefficient which can be used to test for independence between two random variables. His test has already attracted much attention as it is distribution-free, consistent against all fixed alternatives, asymptotically normal under the null hypothesis of independence and computable in (near) linear time; thereby making it appropriate for large-scale applications. However, not much is known about the power properties of this test beyond consistency against fixed alternatives. In this paper, we bridge this gap by obtaining the asymptotic distribution of Chatterjee's correlation under any changing sequence of alternatives converging to the null hypothesis (of independence). We further obtain a general result that gives exact detection thresholds and limiting power for Chatterjee's test of independence under natural nonparametric alternatives converging to the null. As applications of this general result, we prove a non-standard $n^{-1/4}$ detection boundary for this test and compute explicitly the limiting local power on the detection boundary, for popularly studied alternatives in literature such as mixture models, rotation models and noisy nonparametric regression. Moreover our convergence results provide explicit finite sample bounds that depend on the distance between the null and the alternative. Our proof techniques rely on second order Poincare type inequalities and a non-asymptotic projection theorem.

연구 동기 및 목표

• 고정된 대안에 대해 일致성 외의 검정력 성질에 대한 이해 부족을 해결하기 위해.
• 영가설인 독립성으로 수렴하는 대안의 수열 하에서 찰리지의 상관계수의 점점 줄어드는 분포를 유도하기 위해.
• 일반적인 비모수적 대안이 독립성으로 수렴할 때 찰리지 검정의 정확한 탐지 임계값과 점점 줄어드는 검정력을 설정하기 위해.
• 영가설과 대안 분포 간의 거리에 따라 의존하는 명시적인 유한 표본 경계를 제공하기 위해.
• 혼합, 회전, 노이즈가 있는 비모수적 회귀 모델과 같은 특정 모델들에 일반 결과를 적용하기 위해.

제안 방법

• 두 번째 차수의 파인카레 유형 부등식을 사용하여 영가설로 수렴하는 대안 수열 하에서 찰리지의 상관계수의 점점 줄어드는 분포를 도출한다.
• 비점점적 투영 정리를 적용하여 검정 통계량이 그 점점 줄어드는 분포에서 벗어나지 않도록 제어한다.
• 비모수적 대안이 독립성으로 수렴할 때 탐지 임계값을 특성화하기 위한 일반적 프레임워크를 사용한다.
• 대안이 영가설로 수렴하는 속도를 분석하여 탐지 경계에서의 점점 줄어드는 국소 검정력을 계산한다.
• 혼합, 회전, 노이즈가 있는 비모수적 회귀 모델에 이론적 프레임워크를 적용하여 점점 줄어드는 검정력에 대한 명시적 표현을 유도한다.
• 영가설과 대안 간의 거리에 따라 의존하는 유한 표본 경계를 설정한다.

실험 결과

연구 질문

• RQ1 대안이 비표준적인 속도로 영가설로 수렴할 때 찰리지의 상관계수 검정에 대한 정확한 탐지 임계값은 무엇인가요?
• RQ2 일반적인 비모수적 모델에서 혼합, 회전, 노이즈가 있는 비모수적 회귀 모델에 대해 $n^{-1/4}$ 탐지 경계에서 찰리지 검정의 점점 줄어드는 국소 검정력은 어떻게 행동합니까?
• RQ3 영가설과 대안 분포 간의 거리에 따라 의존하는 검정의 성능에 대한 유한 표본 경계는 무엇입니까?
• RQ4 두 번째 차수의 파인카레 부등식과 비점점적 투영이 국소 대안 하에서 점점 줄어드는 분포를 유도하는 데 어떻게 기여합니까?
• RQ5 대안이 독립성으로 수렴할 때 혼합, 회전, 노이즈가 있는 비모수적 회귀 모델에서 찰리지 검정의 점점 줄어드는 검정력은 무엇입니까?

주요 결과

• 논문은 찰리지 검정에 대해 비표준적인 $n^{-1/4}$ 탐지 경계를 설정하여, 대안이 영가설로 수렴할 때 탐지 가능한 속도를 밝혀낸다.
• 혼합, 회전, 노이즈가 있는 비모수적 회귀 모델에 대해 $n^{-1/4}$ 탐지 경계에서 찰리지 검정의 명시적인 점점 줄어드는 국소 검정력을 계산한다.
• 영가설인 독립성으로 수렴하는 임의의 대안 수열 하에서 찰리지의 상관계수의 점점 줄어드는 분포가 도출된다.
• 영가설과 대안 분포 간의 거리에 따라 의존하는 유한 표본 경계가 제공되어 실용적인 성능 보장을 제공한다.
• 두 번째 차수의 파인카레 부등식과 비점점적 투영 정리를 활용함으로써 국소 대안 하에서 검정의 행동을 정밀하게 제어할 수 있다.
• 결과는 찰리지 검정이 느리게 수렴하는 대안에서도 비현저한 검정력을 유지함을 확인하여, 대규모 환경에서의 유용성을 검증한다.