[논문 리뷰] Distance Correlation: A New Tool for Detecting Association and Measuring Correlation Between Data Sets

Donald St. P. Richards|arXiv (Cornell University)|2017. 08. 14.

Advanced Statistical Methods and Models참고 문헌 4인용 수 8

한 줄 요약

이 논문은 임의의 차원을 가진 랜덤 벡터 간의 선형 및 비선형 상관관계를 탐지할 수 있는 강력한 모델에 의존하지 않는 방법으로 거리 상관계수를 소개한다. 피어슨 상관계수의 한계를 극복하며, 천체물리학 및 사회과학 분야의 이론적 유도와 실증적 응용을 통해 거리 상관계수는 피어슨 상관계수가 실패하는 영역, 특히 비선형 관계를 탐지할 수 있으며 높은 통계적 검정력과 더불어 말라리아형, V자형 패턴과 같은 복잡한 데이터 구조를 더 잘 탐지한다.

ABSTRACT

The difficulties of detecting association, measuring correlation, and establishing cause and effect have fascinated mankind since time immemorial. Democritus, the Greek philosopher, underscored well the importance and the difficulty of proving causality when he wrote, "I would rather discover one cause than gain the kingdom of Persia." To address the difficulties of relating cause and effect, statisticians have developed many inferential techniques. Perhaps the most well-known method stems from Karl Pearson's coefficient of correlation, which Pearson introduced in the late 19th century based on ideas of Francis Galton. I will describe in this lecture the recently-devised distance correlation coefficient and describe its advantages over the Pearson and other classical measures of correlation. We will examine an application of the distance correlation coefficient to data drawn from large astrophysical databases, where it is desired to classify galaxies according to various types. Further, the lecture will analyze data arising in the ongoing national discussion of the relationship between state-by-state homicide rates and the stringency of state laws governing firearm ownership. The lecture will also describe a remarkable singular integral which lies at the core of the theory of the distance correlation coefficient. We will see that this singular integral admits generalizations to the truncated Maclaurin expansions of the cosine function and to the theory of spherical functions on symmetric cones.

연구 동기 및 목표

• 피어슨 상관계수의 한계를 극복하여 랜덤 벡터 간의 선형 및 비선형 종속성을 탐지할 수 있는 상관계수 측정법을 개발하는 것.
• 특히 복잡한 비단조화 관계에서 더 높은 검정력을 가진 통계적 도구를 제공하는 것.
• 伝통적인 방법이 실패하는 고차원 데이터에서의 종속성 탐지를 가능하게 하는 것. 이는 비정규분포 또는 비단조화 관계가 존재하는 경우에도 적용 가능하다.
• 천체물리학 및 사회과학 분야의 실제 데이터셋을 활용한 실증적 검증을 통해 고전적 상관계수 측정법보다 뛰어난 성능을 보여주는 방법의 타당성을 입증하는 것.

제안 방법

• 논문은 랜덤 벡터 X와 Y의 공동 및 주변 특성함수를 포함한 적분을 통해 거리 공분산을 정의한다.
• 거리 상관계수 계수는 거리 공분산의 정규화된 형태로 정의되며, 이는 위치 및 척도 변환에 대해 불변성을 확보한다.
• 경험적 거리 공분산은 수치적 적분을 피하기 위해 관측치 간의 쌍별 유클리드 거리에 기반한 계산 효율성이 높은 공식 (4)를 통해 계산된다.
• 거리 공분산의 해석적 취급 가능성을 보장하기 위해 노름의 역수의 푸리에 변환을 포함한 특수한 적분 항등식을 활용한다.
• 이 방법은 임의의 차원 p와 q를 가진 랜덤 벡터로 일반화되어 다변량 및 고차원 데이터에 적용 가능하다.
• 이론적 성질이 확립되어 있으며, 거리 상관계수가 0일 경우 스토케스틱적 독립성과 동치임을 입증한다.

실험 결과

연구 질문

• RQ1 거리 상관계수는 피어슨 상관계수가 탐지하지 못하는 비선형 상관관계를 탐지할 수 있는가?
• RQ2 복잡한 데이터 구조에서 진정한 관계를 탐지할 때 거리 상관계수의 통계적 검정력이 피어슨 상관계수보다 높은가?
• RQ3 거리 상관계수는 천체물리학 데이터셋에서 관찰된 바와 같이 고차원 데이터에서 V자형 또는 말라리아형 산점도 패턴을 효과적으로 해결할 수 있는가?
• RQ4 거리 상관계수의 방법은 예를 들어 주 단위 살인률과 총기법 분석과 같은 실제 응용 분야에서 강건하고 효과적인가?
• RQ5 거리 공분산의 수학적 기초는 무엇인가? 특히 특이 적분의 역할은 무엇인가?

주요 결과

• 거리 상관계수는 피어슨 상관계수가 탐지하지 못한 COMBO-17 천체물리학 데이터셋에서 비선형 상관관계를 탐지하였으며, 특히 은하 데이터에서 V자형 및 말라리아형 패턴을 해결하였다.
• 적색편이 z ∈ [0, 0.5)를 가진 은하에 대해 거리 상관계수는 피어슨 상관계수보다 더 강력하고 더 구조적인 관계를 드러내었으며, 분류 정확도 향상과 은하 유형 그룹화에서의 오염 탐지에 기여하였다.
• 미국 주 단위 살인률과 총기법 분석에서 피어슨 상관계수는 유의미한 관계를 보이지 않았지만, 거리 상관계수는 지역 또는 인구 밀도에 따라 데이터를 분류했을 때 강한 상관관계를 탐지하였다.
• 경험적 거리 공분산는 쌍별 거리에 기반한 폐쇄형 표현식 (4)를 통해 계산 가능함을 입증하여 수치적 적분 없이도 효율적인 계산이 가능함을 보였다.
• 이론적 결과는 거리 상관계수가 0일 경우 스토케스틱적 독립성을 의미함을 확인하였으며, 이는 완전한 종속성에 대한 유효한 검정 도구로 기능함을 뒷받침한다.
• 거리 상관계수의 통계적 검정력은 피어슨 상관계수를 뛰어넘었으며, 특히 비선형성과 복잡한 데이터에서 진짜 관계를 탐지할 때 거짓 음성률를 감소시켰다.