[논문 리뷰] Measuring dependence powerfully and equitably

Yakir Reshef, David N. Reshef외 3명|arXiv (Cornell University)|2016. 01. 01.

Advanced Statistical Methods and Models참고 문헌 29인용 수 33

한 줄 요약

이 논문은 고차원 데이터에서의 종속성 측정을 위한 두 가지 새로운 통계량을 소개한다: 동일한 노이즈 수준에서 다양한 관계 유형을 동등하게 탐지할 수 있도록 최적화된 통계량과, 강력한 독립성 검정을 가능하게 하는 통계량. 이 방법들은 상호정보량의 캐논리컬 스무딩과 동치인 새로운 모집단 종속성 측정 기준에 기반하며, 효율적인 계산과 일致성 및 편향-분산 성능에 대한 강력한 이론적 보장을 제공한다.

ABSTRACT

Given a high-dimensional data set, we often wish to find the strongest relationships within it. A common strategy is to evaluate a measure of dependence on every variable pair and retain the highest-scoring pairs for follow-up. This strategy works well if the statistic used (a) has good power to detect non-trivial relationships, and (b) is equitable, meaning that for some measure of noise it assigns similar scores to equally noisy relationships regardless of relationship type (e.g., linear, exponential, periodic). In this paper, we define and theoretically characterize two new statistics that together yield an efficient approach for obtaining both power and equitability. To do this, we first introduce a new population measure of dependence and show three equivalent ways that it can be viewed, including as a canonical smoothing of mutual information. We then introduce an efficiently computable consistent estimator of our population measure of dependence, and we empirically establish its equitability on a large class of noisy functional relationships. This new statistic has better bias/variance properties and better runtime complexity than a previous heuristic approach. Next, we derive a second, related statistic whose computation is a trivial side-product of our algorithm and whose goal is powerful independence testing rather than equitability. We prove that this statistic yields a consistent independence test and show in simulations that the test has good power against independence. Taken together, our results suggest that these two statistics are a valuable pair of tools for exploratory data analysis.

연구 동기 및 목표

• 같은 노이즈 수준에서 다양한 관계 유형(예: 선형, 주기적, 지수적)에 대해 동등한 점수를 유지하는 종속성 측정 기준을 개발한다.
• 기존 히우리스틱 접근 방식보다 향상된, 새로운 모집단 종속성 측정 기준의 계산 효율적이고 일관된 추정기로 설계한다.
• 동등성과 함께 독립성 검정을 가능하게 하는 두 번째 통계량을 제공한다.
• 다양한 동치 표현 방식(예: 상호정보량의 캐논리컬 스무딩 포함)을 통한 새로운 모집단 종속성 측정 기준의 이론적 특성 분석을 수행한다.
• 다양한 노이즈가 있는 기능적 관계의 광범위한 클래스에서 제안된 통계량의 동등성과 통계적 검정력에 대한 실증적 검증을 수행한다.

제안 방법

• 상호정보량의 캐논리컬 스무딩과 동치인 새로운 모집단 종속성 측정 기준을 정의하여 일관된 추정과 동등한 행동을 가능하게 한다.
• 데이터 기반의 박스 분할 및 스무딩 기법을 활용해 편향과 분산을 줄이는 효율적인 계산이 가능한 모집단 측정 기준의 일관된 추정기 도입.
• 동등성 최적화 통계량의 계산 과정에서 자연스럽게 두 번째 통계량이 유도되며, 이는 독립성 검정에 사용된다.
• 두 번째 통계량이 독립성에 대한 일관된 검정을 제공하며, 표본 크기가 증가함에 따라 종속성을 탐지할 능력에 대한 이론적 보장을 입증한다.
• 모의 실험을 통해 이전 히우리스틱 방법과의 비교를 통해 편향-분산 균형 개선과 더 빠른 런타임 복잡도를 입증한다.
• 모집단 측정 기준이 세 가지 다른 해석 방식과 동치임을 증명한다: 스무딩된 상호정보량, 재생 핵 힐버트 공간 상의 정규화된 공분산, 변환된 특징 공간 상의 상관계수.

실험 결과

연구 질문

• RQ1 같은 노이즈 수준에서 기능적 형태에 관계없이 동일한 점수를 부여하는 종속성 측정 기준을 구축할 수 있는가?
• RQ2 동등성과 독립성 검정을 모두 지원하는 새로운 모집단 종속성 측정 기준에 대해 일관되고 효율적인 추정기를 설계할 수 있는가?
• RQ3 제안된 모집단 종속성 측정 기준과 기존의 상호정보량, 커널 기반 종속성 측정 기준 간의 이론적 관계는 무엇인가?
• RQ4 알고리즘의 주 계산 과정에서 파생된 두 번째 통계량이 계산 효율성을 유지하면서도 강력한 검정력을 확보할 수 있는가?
• RQ5 다양한 기능적 관계에서 이전 히우리스틱 방법과 비교해 새로운 통계량이 편향, 분산, 런타임 측면에서 어떻게 성능을 발휘하는가?

주요 결과

• 제안된 모집단 종속성 측정 기준은 수학적으로 상호정보량의 캐논리컬 스무딩과 동치이며, 동등한 종속성 측정에 대한 원칙적인 기반을 제공한다.
• 모집단 측정 기준의 일관된 추정기는 이전 히우리스틱 방법 대비 향상된 편향-분산 균형을 보이며, 다양한 노이즈가 있는 기능적 관계에서 개선된 실증적 동등성을 확보한다.
• 이전 방법보다 더 낮은 런타임 복잡도를 달성하여 고차원 데이터 세트에 대한 효율적 적용을 가능하게 한다.
• 주 계산 과정에서 파생된 두 번째 통계량은 일관된 독립성 검정을 제공하며, 모의 실험에서 강력한 실증적 검정력을 보인다.
• 이론적 분석을 통해 두 통계량 모두 일관성이 있음을 확인했다: 동등성 중심의 통계량은 진정한 종속성 측정 기준으로 수렴하고, 독립성 검정 통계량은 표본 크기가 증가함에 따라 근본 가설을 올바르게 기각한다.
• 실증 결과는 새로운 통계량이 고차원 데이터에서 비자명한 관계를 효과적으로 탐지하고 순위를 매길 수 있으며, 이전 방법보다 동등성과 검정력 측면에서 뛰어난 성능을 발휘함을 보여준다.