[논문 리뷰] A Statistically and Numerically Efficient Independence Test based on Random Projections and Distance Covariance

Cheng Huang, Xiaoming Huo|arXiv (Cornell University)|2017. 01. 21.

Machine Learning and Algorithms인용 수 8

한 줄 요약

이 논문은 다변량 난수 벡터에 대한 통계적이고 수치적으로 효율적인 독립성 검정을 위한 무작위로 투영된 거리 공분산(RPDC)을 제안한다. 고차원 데이터를 다수의 일변량 공간으로 투영하고 빠른 일변량 거리 공분산 추정치의 평균을 구함으로써 RPDC는 O(Kn log n)의 계산 복잡도와 O(max{n, K})의 메모리 사용량을 달성하면서도 전체 다변량 거리 공분산 검정과 渐近적으로 동일한 검정력을 유지한다.

ABSTRACT

Test of independence plays a fundamental role in many statistical techniques. Among the nonparametric approaches, the distance-based methods (such as the distance correlation based hypotheses testing for independence) have numerous advantages, comparing with many other alternatives. A known limitation of the distance-based method is that its computational complexity can be high. In general, when the sample size is $n$, the order of computational complexity of a distance-based method, which typically requires computing of all pairwise distances, can be $O(n^2)$. Recent advances have discovered that in the {\it univariate} cases, a fast method with $O(n \log n)$ computational complexity and $O(n)$ memory requirement exists. In this paper, we introduces a test of independence method based on random projection and distance correlation, which achieves nearly the same power as the state-of-the-art distance-based approach, works in the {\it multivariate} cases, and enjoys the $O(n K \log n)$ computational complexity and $O(\max\{n,K\})$ memory requirement, where $K$ is the number of random projections. Note that saving is achieved when $K < n/\log n$. We name our method a Randomly Projected Distance Covariance (RPDC). The statistical theoretical analysis takes advantage of some techniques on random projection which are rooted in contemporary machine learning. Numerical experiments demonstrate the efficiency of the proposed method, in relative to several competitors.

연구 동기 및 목표

• 표본 크기 n에 대해 O(n²)로 증가하는 다변량 거리 공분산 검정의 높은 계산 비용을 해결한다.
• 기존의 빠른 알고리즘들이 일변량 경우에만 적용 가능한 고차원 또는 다변량 설정에서 효율적인 독립성 검정을 가능하게 한다.
• 전체 다변량 거리 공분산의 통계적 검정력을 유지하면서 계산 및 메모리 요구량을 크게 줄이는 방법을 개발한다.
• 기계학습에서의 랜덤 프로젝션 기법을 활용하여 다변량 의존성을 효율적으로 근사한다.
• 일반 조건 하에서 제안된 추정량의 渐近적 효율성과 일致성에 대한 이론적 근거를 제공한다.

제안 방법

• 랜덤 행렬을 사용하여 다변량 난수 벡터 X ∈ ℝ^p 와 Y ∈ ℝ^q 를 일변량 투영으로 변환한다.
• 일변량의 경우에만 적용 가능한 [11]의 O(n log n) 알고리즘을 사용하여 각 투영 쌍에 대해 빠른 일변량 거리 공분산을 계산한다.
• K번의 독립적인 투영 및 계산 과정을 반복하여 K개의 서로서티 거리 공분산 추정치를 생성한다.
• K개의 투영된 추정치의 평균을 최종 거리 공분산으로 추정함으로써 분산을 줄이고 강건성을 향상시킨다.
• 랜덤 프로젝션과 거리 공분산에 관한 이론적 결과를 활용하여 추정량의 기대값이 진정한 다변량 거리 공분산으로 수렴함을 보여준다.
• 귀무가설인 독립성 하에서 검정 통계량의 渐近적 분포를 유도하여 타당한 p-값 계산이 가능하도록 한다.

실험 결과

연구 질문

• RQ1 무작위 투영을 사용하여 다변량 거리 공분산을 통계적 검정력 손실 최소화로 근사할 수 있는가?
• RQ2 기존의 다변량 거리 공분산과 비교해 볼 때 제안된 방법의 계산 복잡도와 메모리 사용량은 어떻게 되는가?
• RQ3 랜덤 프로젝션의 수 K가 추정량의 정확도와 효율성에 어떤 영향을 미치는가?
• RQ4 제안된 방법이 전체 다변량 거리 공분산 검정과 동일한 渐近적 검정력을 유지하는가?
• RQ5 이 방법은 조건부 독립성 검정이나 기타 의존성 측정법으로 확장될 수 있는가?

주요 결과

• 제안된 RPDC 방법은 O(Kn log n)의 계산 복잡도와 O(max{n, K})의 메모리 사용량을 달성하여 K < n / log n 인 경우에 상당한 속도 향상을 제공한다.
• 이론적 분석을 통해 RPDC 추정량의 渐近적 분산이 전체 다변량 거리 공분산과 동일함을 보여주며, 이는 통계적 효율성 손실가 없음을 의미한다.
• 수치 실험을 통해 RPDC는 최신의 다변량 기반 방법과 비교해도 높은 통계적 검정력을 유지함을 입증한다.
• 이 방법은 대규모 표본 크기에서도 확장 가능하고 효과적이며, 현대 통계 분석의 빅데이터 응용에 적합하다.
• 랜덤 프로젝션의 사용은 귀무가설인 독립성 하에서 검정의 일관성을 유지하여 타당한 추론을 보장한다.
• 모의 실험에서 기존 대안들에 비해 계산 효율성이 뛰어나면서도 비교 또는 더 높은 경험적 검정력을 확보한다.