[논문 리뷰] The Generalized Mean Information Coefficient

Alexander R. Luedtke, Linh Tran|arXiv (Cornell University)|2013. 08. 26.

Advanced Statistical Methods and Models참고 문헌 6인용 수 3

한 줄 요약

이 논문은 일반화된 평균 매개수를 조절할 수 있는 일반화된 평균 정보 계수(GMIC)를 소개한다. 이는 유한 표본에서 통계적 검정력을 향상시키기 위해 최대 정보 계수(MIC)의 확장판으로, 일반화된 평균 매개수를 조절함으로써 성능을 향상시킨다. GMIC는 MIC의 점근적 성질을 유지하면서도, 특히 p = -1과 같은 중간 조절 매개수에서 다양한 함수 관계에 대해 MIC보다 뛰어난 검정력을 보이며, 거리 상관계수보다는 열등하지만 전반적으로 뛰어난 성능을 보인다.

ABSTRACT

Reshef & Reshef recently published a paper in which they present a method called the Maximal Information Coefficient (MIC) that can detect all forms of statistical dependence between pairs of variables as sample size goes to infinity. While this method has been praised by some, it has also been criticized for its lack of power in finite samples. We seek to modify MIC so that it has higher power in detecting associations for limited sample sizes. Here we present the Generalized Mean Information Coefficient (GMIC), a generalization of MIC which incorporates a tuning parameter that can be used to modify the complexity of the association favored by the measure. We define GMIC and prove it maintains several key asymptotic properties of MIC. Its increased power over MIC is demonstrated using a simulation of eight different functional relationships at sixty different noise levels. The results are compared to the Pearson correlation, distance correlation, and MIC. Simulation results suggest that while generally GMIC has slightly lower power than the distance correlation measure, it achieves higher power than MIC for many forms of underlying association. For some functional relationships, GMIC surpasses all other statistics calculated. Preliminary results suggest choosing a moderate value of the tuning parameter for GMIC will yield a test that is robust across underlying relationships. GMIC is a promising new method that mitigates the power issues suffered by MIC, at the possible expense of equitability. Nonetheless, distance correlation was in our simulations more powerful for many forms of underlying relationships. At a minimum, this work motivates further consideration of maximal information-based nonparametric exploration (MINE) methods as statistical tests of independence.

연구 동기 및 목표

• 유한 표본에서 MIC의 낮은 통계적 검정력 문제를 해결하기 위해, 특히 일반적인 함수 관계에 대해.
• 측정치가 선호하는 연관성의 복잡성에 대한 제어가 가능한 MIC의 일반화를 개발하기 위해.
• 새로운 측정치인 GMIC가 MIC의 핵심 점근적 성질(예: 의존성 탐지에서의 일致성)을 유지하는지 증명하기 위해.
• 여덟 가지 함수 관계와 다양한 노이즈 수준에서의 시뮬레이션을 통해 GMIC의 성능을 평가하기 위해.
• 실제 유한 표본 환경에서 GMIC의 검정력이 MIC, 피어슨 상관계수, 거리 상관계수와 비교하여 어떻게 되는지 평가하기 위해.

제안 방법

• GMIC는 MIC의 특성 행렬 원소들의 일반화된 평균으로 정의되며, 조절 매개수 p를 통해 강조되는 연관성의 유형을 제어한다.
• 일반화된 평균은 모든 격자 분할에 대한 최대 상호정보량 추정치에 적용되며, p = -1일 경우 조화평균이 된다.
• 이 방법은 MIC의 순서 기반 불변성과 의존성에 대한 점근적 일致성을 유지하므로, 표본 크기가 증가함에 따라 모든 형태의 연관성을 탐지할 수 있다.
• 특성 행렬을 효율적으로 근사하기 위해 동적 프로그래밍 알고리즘을 사용하여 대규모 데이터셋에서도 계산이 가능해진다.
• 조절 매개수 p를 통해 실무자들은 등수 기반의 공정성(p=0, 기하평균)과 높은 검정력(p=-1, 조화평균) 사이의 트레이드오프를 조절할 수 있다.
• 시뮬레이션을 통해 GMIC의 검정력이 여덟 가지 함수 관계에서 60개의 노이즈 수준에서 MIC, 피어슨 상관계수, 거리 상관계수와 비교된다.

실험 결과

연구 질문

• RQ1 MIC의 일반화된 평균 공식화가 다양한 연관성을 탐지하는 능력을 유지하면서도, 유한 표본에서 통계적 검정력을 향상시킬 수 있는가?
• RQ2 GMIC는 MIC와 동일한 점근적 성질(예: 의존성 탐지에서의 일치성)을 유지하는가?
• RQ3 특정 조절 매개수 p 값이 다양한 함수 관계에 걸쳐 뛰어난 검정력을 보일 수 있는가?
• RQ4 다양한 유형의 연관성과 노이즈 수준에서 GMIC의 검정력은 MIC, 피어슨 상관계수, 거리 상관계수와 어떻게 비교되는가?
• RQ5 GMIC에서 공정성과 검정력 사이의 트레이드오프가 실제 데이터 분석에서의 해석 가능성과 실용성에 어떤 영향을 미치는가?

주요 결과

• p = -1로 설정된 GMIC는 시험된 여덟 가지 함수 관계 대부분에서 MIC보다 높은 통계적 검정력을 보이며, 비단조화적 및 비선형 관계에서 특히 뛰어나다.
• 고주파 수식파형과 원형의 경우, p = -1로 설정된 GMIC는 MIC보다 성능이 열 劣하나, 여전히 피어슨 상관계수와 MinIC를 능가한다.
• 거리 상관계수의 경우, 고주파 수식파형을 제외한 모든 관계에서 모든 다른 방법보다 뛰어난 통계적 검정력을 보이며, GMIC(p = -1)도 포함해 항상 승리한다.
• 대부분의 관계에서, p = -1로 설정된 GMIC의 표본 평균은 영향이 없는 경우 MIC와 유사한 수준에 가까운데, 고주파 수식파형과 원형을 제외한 대부분의 경우에 해당한다. 이는 강한 연관성에 대한 감도가 유지됨을 시사한다.
• p = -1로 설정된 GMIC는 다양한 함수 형태에서 뛰어난 검정력 성능를 보이며, 표본 수가 제한된 실용적 환경에서 MIC의 신뢰할 수 있는 대안이 될 수 있음을 시사한다.
• 연구 결과, p = -1는 다양한 관계에 걸쳐 높은 검정력을 유지하며, 비음성 p 값에서 관찰되는 급격한 검정력 감소를 피할 수 있기 때문에 GMIC의 유력한 기본 설정으로 제안된다.