[논문 리뷰] Mutual Dependence: A Novel Method for Computing Dependencies Between Random Variables

Rahul Agarwal, Pierre Sacré외 1명|arXiv (Cornell University)|2015. 06. 01.

Advanced Clustering Algorithms Research인용 수 4

한 줄 요약

이 논문은 그랑저의 축원을 만족하고 엄격한 단조변환에 대해 불변인 이상적인 종속성 측정법인 상호의존도에 대한 새로운 직접 추정기(_estimator)를 소개한다. 밴드제한 최대우도(BLML) 추정기를 사용하여, 밀도 추정이나 수치적 적분 없이 데이터로부터 직접 상호의존도를 계산함으로써, 다양한 비선형성과 모수분포에서 피어슨 상관계수와 거리상관계수보다 빠른 수렴 속도, 낮은 편향, 뛰어난 계산 효율성을 달성한다.

ABSTRACT

In data science, it is often required to estimate dependencies between different data sources. These dependencies are typically calculated using Pearson's correlation, distance correlation, and/or mutual information. However, none of these measures satisfy all the Granger's axioms for an "ideal measure". One such ideal measure, proposed by Granger himself, calculates the Bhattacharyya distance between the joint probability density function (pdf) and the product of marginal pdfs. We call this measure the mutual dependence. However, to date this measure has not been directly computable from data. In this paper, we use our recently introduced maximum likelihood non-parametric estimator for band-limited pdfs, to compute the mutual dependence directly from the data. We construct the estimator of mutual dependence and compare its performance to standard measures (Pearson's and distance correlation) for different known pdfs by computing convergence rates, computational complexity, and the ability to capture nonlinear dependencies. Our mutual dependence estimator requires fewer samples to converge to theoretical values, is faster to compute, and captures more complex dependencies than standard measures.

연구 동기 및 목표

• 그랑저의 축원을 만족하는 이상적인 종속성 측정법인 상호의존도에 대한 계산 효율적이고 정확한 추정기를 개발하는 것.
• 피어슨 상관계수(비선형성에서 실패함)와 거리상관계수(느린 수렴, 단조변환에 대해 불변이 아님)와 같은 기존 측정법의 한계를 극복하는 것.
• 비모수적 밀도 추정과 수치적 적분을 피하여 데이터로부터 직접 상호의존도를 계산할 수 있도록 하는 것.
• 다양한 비선형성과 비정규 분포를 가진 데이터 유형에서 표준 종속성 측정법과 비교해 상호의존도 추정기의 뛰어난 수렴 속도와 계산 효율성을 입증하는 것.

제안 방법

• 공동 밀도함수와 주변 밀도함수의 곱 사이의 바타차리 바이어스 거리로 정의된 새로운 종속성 측정법인 상호의존도 $d$를 제안한다.
• 알려진 절단 주파수 $f_c$ 하에서 비모수적 방식으로 밀도함수를 추정하기 위해 밴드제한 최대우도(BLML) 추정기를 사용하며, 이는 부드러움과 일致성을 보장한다.
• BLML 추정치를 사용해 상호의존도에 대한 해석적 표현식을 유도함으로써, 공동 및 주변 밀도함수에 대한 수치적 적분이 필요 없도록 한다.
• 데이터로부터 직접 상호의존도 추정기 $\hat{d}$를 계산하며, 복잡도는 $\mathcal{O}(B^2 + n)$이며, 여기서 $B \leq n$은 비어 있지 않은 박스의 수이다.
• 다양한 비선형성과 생성 밀도함수 하에서 $\hat{r}$, $\hat{R}$, $\hat{d}$의 수렴, 편향, 분산, 계산 시간을 비교하기 위해 몬테카를로 시뮬레이션을 수행한다.
• BLML 추정기의 절단 주파수 $f_c = \frac{1}{1 - \rho^2}$로 설정하여 기저 밀도함수의 구조를 정확히 반영하도록 한다.

실험 결과

연구 질문

• RQ1 비모수적 밀도 추정이나 수치적 적분 없이 데이터로부터 상호의존도를 직접 계산할 수 있는가?
• RQ2 다양한 유형의 비선형 종속성에서 제안된 상호의존도 추정기의 수렴 속도가 피어슨 상관계수와 거리상관계수와 비교해 어떻게 되는가?
• RQ3 상호의존도 추정기는 다양한 주변 분포와 비선형 함수 형태에서 낮은 편향과 분산을 유지하는가?
• RQ4 제안된 추정기의 계산 복잡도는 무엇이며, 거리상관계수의 $\mathcal{O}(n^2)$ 복잡도와 비교해 어떻게 되는가?
• RQ5 BLML 프레임워크에서 절단 주파수의 선택에 따라 상호의존도 추정기의 성능은 얼마나 민감한가?

주요 결과

• 모든 테스트된 비선형성(선형, 이차, 삼차, 삼각함수형)에서 상호의존도 추정기 $\hat{d}$는 $\hat{r}$과 $\hat{R}$보다 더 빠른 수렴 속도를 보인다.
• 비선형 데이터에서는 $\hat{r}$과 $\hat{R}$이 높은 편향과 분산을 보이지만, $\hat{d}$는 모든 비선형성과 주변 분포에서 균일하게 낮은 편향과 분산을 유지한다.
• 모든 데이터 유형에서 $\hat{d}$의 통합 평균제곱오차(IMSE)는 표본 크기가 증가함에 따라 점진적으로 감소하지만, $\hat{R}$의 IMSE는 삼차 및 밴드제한 데이터에서는 분산이 감소하지 않아 감소하지 않는다.
• $\hat{d}$의 계산 복잡도는 $\mathcal{O}(B^2 + n)$이며, 특히 $B \ll n$인 고밀도 데이터 영역에서 $\mathcal{O}(n^2)$인 $\hat{R}$보다 훨씬 빠르다.
• 모든 표본 크기에서 $\hat{d}$는 $\hat{r}$과 $\hat{R}$보다 낮은 IMSE를 달성하여 더 뛰어난 추정 정확도와 일관성을 보인다.
• 추정기는 엄격한 단조변환에 대해 불변이며, 이상적인 종속성 측정법의 핵심 축원을 만족한다. 이는 이론적 한계가 있음에도 불구하고 $\hat{R}$보다 이 측면에서 뛰어나다.