[논문 리뷰] On the power of Chatterjee rank correlation

Hongjian Shi, Mathias Drton외 1명|arXiv (Cornell University)|2020. 08. 26.

Advanced Statistical Methods and Models참고 문헌 30인용 수 7

한 줄 요약

이 논문은 일관성, 계산 효율성, 통계적 검정력 측면에서 기존의 대안들—Hoeffding의 $D$, Blum–Kiefer–Rosenblatt의 $R$, Bergsma–Dassios–Yanagimoto의 $\tau^*$—에 비해 Chatterjee의 순위 상관계수를 평가한다. 주요 발견은 Chatterjee의 계수가 渐近적으로 정규분포를 따르고 계산에 효율적이지만, 국소 대립가설 하에서는 속도로 최적화되지 않으며, 따라서 $D$, $R$, $\tau^*$가 검출력 측면에서 독립성 검정에 있어 더 우수하다는 것이다.

ABSTRACT

Chatterjee (2021) introduced a simple new rank correlation coefficient that has attracted much recent attention. The coefficient has the unusual appeal that it not only estimates a population quantity first proposed by Dette et al. (2013) that is zero if and only if the underlying pair of random variables is independent, but also is asymptotically normal under independence. This paper compares Chatterjee's new correlation coefficient to three established rank correlations that also facilitate consistent tests of independence, namely, Hoeffding's $D$, Blum-Kiefer-Rosenblatt's $R$, and Bergsma-Dassios-Yanagimoto's $τ^*$. We contrast their computational efficiency in light of recent advances, and investigate their power against local rotation and mixture alternatives. Our main results show that Chatterjee's coefficient is unfortunately rate sub-optimal compared to $D$, $R$, and $τ^*$. The situation is more subtle for a related earlier estimator of Dette et al. (2013). These results favor $D$, $R$, and $τ^*$ over Chatterjee's new correlation coefficient for the purpose of testing independence.

연구 동기 및 목표

• 기존의 비모수적 의존도 측정법과 비교하여 Chatterjee의 순위 상관계수의 통계적 검정력과 효율성에 대해 평가하는 것.
• Chatterjee의 계수가 단순성과 점근적 정규성에도 불구하고 국소 대립가설 하에서 최적의 검출 속도를 달성하는지 평가하는 것.
• Chatterjee의 계수의 계산 효율성을 $D$, $R$, $\tau^*$와 비교하는 것. 이들 모두 $O(n/\log n)$ 시간에 계산될 수 있다.
• Farlie와 Konijn이 영감을 준 국소 의존성 대립가설 하에서 Chatterjee의 계수의 속도 최적성에 대해 $D$, $R$, $\tau^*$와 비교하는 것.
• Chatterjee의 계수와 Dette–Siburg–Stoimenov 상관계수 $\theta$의 이전 추정량 간의 상대적 장점을 검출 경계 성능 측면에서 명확히 하는 것.

제안 방법

• 저자들은 국소 대립가설 하에서 검정 통계량의 점근적 행동을 분석하기 위해 Le Cam의 제3의 정리를 사용하여 검출 속도를 비교할 수 있도록 한다.
• 총변동 거리 사이의 경계를 설정하기 위해 헬링거 거리와 카이제곱 거리를 적용하여 귀무가설과 대립가설 분포 간의 총변동 거리를 유계로 유지할 조건을 설정한다.
• 분석은 근본 분포와 연관된 분포의 국소 편향에 대한 규칙성 조건을 제시하는 가정 1과 가정 2에 기반한다.
• 저자들은 귀무가설과 국소 대립가설 분포 간의 헬링거 거리와 카이제곱 거리에 대한 점근적 표현을 유도하며, 이를 피셔 정보 $\tilde{\rho}(0)$와 $\tilde{\rho}^2(0)$와 연결한다.
• Chatterjee의 계수의 검출 경계를 $D$, $R$, $\tau^*$와 비교하여, Chatterjee의 방법이 국소 대립가설 하에서 동일한 검출 속도를 달성하지 못함을 보여준다.
• 이론적 결과는 특히 가정 1 하에서 $1 - \frac{1}{2}H^2(F^{(a)}, F^{(0)}) \to \exp(-\frac{\Delta_0^2 \mathcal{I}_X(0)}{8})$라는 관계를 사용한 점근적 전개와 수렴 논증에 의해 지지된다.

실험 결과

연구 질문

• RQ1 Chatterjee의 순위 상관계수는 $D$, $R$, $\tau^*$와 비교해 국소 독립성 대립가설을 탐지하는 데 있어 속도로 최적화되어 있는가?
• RQ2 국소 회전 및 혼합 대립가설 하에서 Chatterjee의 계수의 통계적 검정력은 $D$, $R$, $\tau^*$와 어떻게 비교되는가?
• RQ3 국소 대립가설 하에서 Chatterjee의 계수는 $D$, $R$, $\tau^*$와 동일한 검출 경계를 달성할 수 있는가, 아니면 속도로 최적화되지 않는가?
• RQ4 피셔 정보 $\tilde{\rho}(0)$와 $\tilde{\rho}^2(0)$는 Chatterjee의 계수의 검출 경계를 결정하는 데 어떤 역할을 하는가?
• RQ5 Chatterjee의 계수의 점근적 정규성이 국소 대립가설 하에서의 검출 속도 부족성에 대해 상쇄되는가?

주요 결과

• 국소 대립가설 하에서 Chatterjee의 순위 상관계수는 $D$, $R$, $\tau^*$에 비해 속도로 최적화되지 않으며, 이는 상수 배수까지 동일한 검출 경계를 달성하지 못한다는 의미이다.
• 점근적 정규성과 $O(n\log n)$ 시간 내 계산 효율성에도 불구하고, Chatterjee의 계수는 국소 의존성 대립가설 하에서 $D$, $R$, $\tau^*$의 검출력에 미치지 못한다.
• Chatterjee의 계수의 검출 경계는 최적 속도의 상수 배수 이하로 제한되어 있으며, 이는 $D$, $R$, $\tau^*$만큼 약한 의존성을 효율적으로 탐지하지 못한다는 것을 의미한다.
• 가정 1 하에서, 충분히 작은 $\beta$에 대해 귀무가설과 국소 대립가설 분포 간의 총변동 거리는 1 이하로 유계이므로 비자명한 탐지가 가능하지만, 최적 속도로는 이루어지지 않는다.
• 가정 2 하에서, 카이제곱 거리 분석은 Chatterjee의 계수가 $D$, $R$, $\tau^*$와 동일한 검출 속도를 달성하지 못하며, 검출 경계가 $\tilde{\rho}^2(0)$에 의존함을 확인한다.
• 논문은 Chatterjee의 계수가 비록 단순하고 점근적으로 정규분포를 따르지만, $D$, $R$, $\tau^*$보다 통계적으로 더 효율적이며, 독립성 검정에 있어 더 유리하다고 결론짓는다.