[논문 리뷰] Distance-based and RKHS-based Dependence Metrics in High Dimension

Changbo Zhu, Shun Yao외 2명|arXiv (Cornell University)|2019. 02. 08.

Statistical Methods and Inference참고 문헌 40인용 수 10

한 줄 요약

이 논문은 거리 공분산과 힐버트-슈미트 독립성 기준(HSIC)이 차원 수가 높아지는 환경에서 성능이 떨어지는 이유를 드러내며, 이는 구성요소 간 상관계수를 통해 선형 의존성만 캡처하기 때문임을 규명한다. 이를 극복하기 위해 저자는 성분별 거리/HSIC 공분산을 집계하는 방법을 제안하여, 표본 크기와 함께 차원 수가 증가하는 상황에서 비선형적이며 단조가 아닌 의존성의 탐지 능력이 크게 향상됨을 보여준다.

ABSTRACT

In this paper, we study distance covariance, Hilbert-Schmidt covariance (aka Hilbert-Schmidt independence criterion [Gretton et al. (2008)]) and related independence tests under the high dimensional scenario. We show that the sample distance/Hilbert-Schmidt covariance between two random vectors can be approximated by the sum of squared componentwise sample cross-covariances up to an asymptotically constant factor, which indicates that the distance/Hilbert-Schmidt covariance based test can only capture linear dependence in high dimension. As a consequence, the distance correlation based t-test developed by Szekely and Rizzo (2013) for independence is shown to have trivial limiting power when the two random vectors are nonlinearly dependent but component-wisely uncorrelated. This new and surprising phenomenon, which seems to be discovered for the first time, is further confirmed in our simulation study. As a remedy, we propose tests based on an aggregation of marginal sample distance/Hilbert-Schmidt covariances and show their superior power behavior against their joint counterparts in simulations. We further extend the distance correlation based t-test to those based on Hilbert-Schmidt covariance and marginal distance/Hilbert-Schmidt covariance. A novel unified approach is developed to analyze the studentized sample distance/Hilbert-Schmidt covariance as well as the studentized sample marginal distance covariance under both null and alternative hypothesis. Our theoretical and simulation results shed light on the limitation of distance/Hilbert-Schmidt covariance when used jointly in the high dimensional setting and suggest the aggregation of marginal distance/Hilbert-Schmidt covariance as a useful alternative.

연구 동기 및 목표

• 표본 크기 n이 고정된 상태에서 차원 수 p와 q가 증가하는 고차원 점근적 설정에서 거리 공분산과 힐버트-슈미트 독립성 기준(HSIC)의 행동을 조사하는 것.
• 낮은 차원에서는 일반적인 의존성을 탐지할 수 있지만 고차원에서는 연합 거리/HSIC 기반의 독립성 검정이 성능을 잃는 이유를 규명하는 것.
• 비선형적이며 단조가 아닌 의존성을 고차원 환경에서 더 잘 탐지할 수 있도록 성분별 표본 거리/HSIC 공분산을 집계하는 새로운 유형의 검정을 개발하는 것.
• 귀무가설과 대립가설 하에서 표본 거리/HSIC 공분산과 그 성분별 변형의 통합 이론적 프레임워크를 구축하는 것.
• Székely와 Rizzo(2013)의 거리 상관계수 t-검정을 HSIC 기반 및 성분별 기반 변형으로 확장하여 고차원·저표본 크기(HDLSS) 상황에서의 검정력 향상을 도모하는 것.

제안 방법

• 표본 거리/HSIC 공분산의 점근적 근사식을 유도하여, 구성요소 간 상관계수의 제곱합으로 표현됨을 보이며, 이는 고차원에서 선형 의존성에 국한됨을 드러낸다.
• 비선형적이며 단조가 아닌 의존성 패턴을 포착하기 위해 성분별 표본 거리/HSIC 공분산의 집계 기반 검정 통계량을 제안한다.
• 귀무가설과 대립가설 하에서 표본 거리/HSIC 공분산과 성분별 변형의 새로운 통합 점근 이론을 개발한다.
• U-통계량 이론과 점근 정규성 결과를 적용하여 귀무가설 하에서 제안된 검정 통계량의 점근 분포를 유도한다.
• Székely와 Rizzo(2013)의 거리 상관계수 t-검정을 HSIC 기반 및 성분별 기반 변형으로 확장하여 고차원 환경에서의 이론적 타당성을 확보한다.
• 시뮬레이션 연구를 통해 연합 검정과 성분별 기반 검정의 검정력을 비교하여 집계 방법의 우수성을 확인한다.

실험 결과

연구 질문

• RQ1 비모수적 성격을 지닌 연합 거리 공분산과 HSIC 기반 독립성 검정이 고차원 환경에서는 왜 극단적으로 낮은 점근적 검정력을 보이는가?
• RQ2 고차원에서의 표본 거리/HSIC 공분산이 구성요소 간 선형 의존성 외에는 측정하지 못하는 정도는 어느 정도인가?
• RQ3 성분별 표본 거리/HSIC 공분산을 집계하는 것이 고차원 데이터에서 비선형적이며 단조가 아닌 의존성을 탐지하는 데 더 높은 검정력을 제공할 수 있는가?
• RQ4 귀무가설과 대립가설 하에서 표본 거리/HSIC 공분산과 그 성분별 변형에 대한 통합 점근 이론을 어떻게 수립할 수 있는가?
• RQ5 차원 수가 고정된 표본 크기와 함께 증가하는 상황에서 제안된 성분별 집계 검정이 기존의 연합 검정보다 검정력 면에서 뛰어나게 되는가?

주요 결과

• 두 고차원 랜덤 벡터 간 표본 거리/HSIC 공분산은 점근적으로 구성요소 간 상관계수의 제곱합으로 축소되며, 이는 고차원에서 선형 의존성만 캡처한다는 것을 시사한다.
• 실제 의존성이 비선형인데 구성요소 간 상관계수가 0인 경우, Székely와 Rizzo(2013)의 거리 상관계수 기반 t-검정은 극도로 낮은 점근적 검정력을 보이며, 이는 이전에 보고되지 않은 현상이다.
• 성분별 거리/HSIC 공분산의 집계 기반으로 제안된 검정은 시뮬레이션에서 연합 검정보다 비선형 의존성 하에서 뚜렷이 높은 검정력을 보였다.
• 통합 점근 이론은 표본화된 성분별 거리/HSIC 공분산이 귀무가설 하에서 정규분포로 수렴함을 보여주며, 이는 타당한 추론을 가능하게 한다.
• t-검정을 HSIC 기반 및 성분별 기반 변형으로 확장함으로써 고차원 환경에서의 점근적 타당성을 유지하면서 검정력을 향상시켰다.
• 이론적 결과는 귀무가설 하에서 검정 통계량의 점근 분포가 표준 정규분포임을 확인하며, 표준 정규분포의 임계값을 사용할 수 있음을 뒷받침한다.