[논문 리뷰] From Distance Correlation to Multiscale Generalized Correlation

Cencheng Shen, Carey E. Priebe외 1명|arXiv (Cornell University)|2017. 10. 26.

Gene expression and cancer classification인용 수 5

한 줄 요약

이 논문은 특성 함수와 근접 이웃 방법을 사용하여 다스케일 일반화 상관계수(MGC)의 인구버전을 형식화하고, 알고리즘적 표본 MGC를 향상시키기 위한 이론적 기초를 확립한다. 점점 증가하는 표본 크기와 유한 표본에서의 성질을 증명하며, 비선형성 및 다변량 관계를 포함한 일반적인 의존성 탐지에서 MGC의 뛰어난 검정력을 입증한다. 동시에 단조관계에 대해서도 높은 검정력을 유지한다.

ABSTRACT

Understanding and developing a correlation measure that can detect general dependencies is not only imperative to statistics and machine learning, but also crucial to general scientific discovery in the big data age. We proposed the Multiscale Generalized Correlation (MGC) in Shen et al. 2017 as a novel correlation measure, which worked well empirically and helped a number of real data discoveries. But there is a wide gap with respect to the theoretical side, e.g., the population statistic, the convergence from sample to population, how well does the algorithmic Sample MGC perform, etc. To better understand its underlying mechanism, in this paper we formalize the population version of local distance correlations, MGC, and the optimal local scale between the underlying random variables, by utilizing the characteristic functions and incorporating the nearest-neighbor machinery. The population version enables a seamless connection with, and significant improvement to, the algorithmic Sample MGC, both theoretically and in practice, which further allows a number of desirable asymptotic and finite-sample properties to be proved and explored for MGC. The advantages of MGC are further illustrated via a comprehensive set of simulations with linear, nonlinear, univariate, multivariate, and noisy dependencies, where it loses almost no power against monotone dependencies while achieving superior performance against general dependencies.

연구 동기 및 목표

• 다스케일 일반화 상관계수(MGC)의 인구 공식화와 표본에서 인구로의 수렴에 대한 이론적 이해의 격차를 메우기 위해.
• 지역 거리 상관계수의 인구버전과 최적의 국소 스케일을 형식화하여 MGC에 대한 엄밀한 이론적 프레임워크를 수립하기 위해.
• 이론적 통찰을 통해 알고리즘적 표본 MGC를 향상시켜 점점 증가하는 표본 크기와 유한 표본에서의 성질을 강화하기 위해.
• 비선형성, 다변량, 노이즈가 섞인 관계를 포함한 다양한 종류의 의존성에 대해 MGC가 기존 상관계수 측정법보다 뛰어난 검정력을 보이는지 입증하기 위해.

제안 방법

• 특성 함수를 사용하여 지속적인 의존성 구조를 기술하는 지역 거리 상관계수의 인구버전을 형식화하기 위해.
• 인구 설정에서 랜덤 변수 간 최적의 국소 스케일을 추정하기 위해 근접 이웃 기반 기법을 통합하기 위해.
• 다양한 척도에서의 의존성을 포착하는 다스케일 일반화 상관계수로서의 인구 MGC 통계량을 유도하기 위해.
• 인구 MGC와 알고리즘적 표본 MGC 사이에 이론적으로 매끄럽게 연결되는 고리를 구축하여 수렴성과 성능을 향상시키기 위해.
• 특성 함수를 사용하여 공동 분포와 의존성 구조를 기술하고, 인구 수준의 상관계수 측정치를 정확하게 계산할 수 있도록 하기 위해.
• 형식화된 인구 프레임워크에 기반하여 MGC의 점점 증가하는 표본 크기와 유한 표본 성질을 증명하며, 일致성과 검정력 분석을 포함하기 위해.

실험 결과

연구 질문

• RQ1 MGC의 인구버전은 무엇이며, 표본 기반 알고리즘 구현과 어떻게 관련이 있는가?
• RQ2 특성 함수를 사용한 인구 공식화에서 랜덤 변수 간 최적의 국소 스케일은 어떻게 도출되는가?
• RQ3 이론적 프레임워크는 표본 MGC의 수렴성과 유한 표본 성능을 어느 정도 향상시키는가?
• RQ4 선형, 비선형, 단변량, 다변량, 노이즈가 섞인 의존성 유형을 포함한 다양한 의존성 유형에서 MGC는 기존 상관계수 측정법보다 얼마나 더 뛰어난 검정력을 보이는가?
• RQ5 MGC의 이론적 기초는 실제 데이터 탐색 과제에서의 그 실증적 성공을 설명할 수 있는가?

주요 결과

• 특성 함수와 근접 이웃 방법을 사용하여 MGC의 인구버전이 엄밀하게 유도되었으며, 이는 엄밀한 이론적 기초를 제공한다.
• 이론적 프레임워크는 강력한 수렴 성질을 확립하여 인구 MGC와 알고리즘적 표본 MGC 사이에 개선된 점점 증가하는 표본 보장을 제공하는 이론적 연결 고리를 형성한다.
• MGC는 단조관계에 대해 거의 검정력 손실 없이 유지하면서, 일반적인 비선형성 및 다변량 의존성 탐지에서 기존 방법보다 뚜렷이 뛰어난 성능을 보인다.
• 특히 노이즈가 많고 복잡한 의존성 구조에서 개선된 이론적 기초 덕분에 MGC는 뛰어난 유한 표본 성능을 달성한다.
• 포괄적인 시뮬레이션을 통해 MGC는 단변량, 다변량, 노이즈가 섞인 환경을 포함한 다양한 의존성 유형에서 뛰어난 강건성과 높은 검정력을 보임을 확인하였다.
• 형식화된 이론 기반 덕분에 일치성과 일반 의존성 감지에 민감한 바람직한 점점 증가하는 표본 크기 및 유한 표본 성질의 증명이 가능해졌다.