[논문 리뷰] Comment on "Detecting Novel Associations In Large Data Sets" by Reshef Et Al, Science Dec 16, 2011

Noah Simon, Robert Tibshirani|arXiv (Cornell University)|2014. 01. 29.

Data-Driven Disease Surveillance참고 문헌 1인용 수 69

한 줄 요약

이 논문은 Reshef 등(2011)이 제안한 비선형 상관관계 탐지용 최대 정보 상관관계(MIC) 방법에 대한 비판을 제기한다. 시뮬레이션을 통해 다양한 노이즈 수준과 종속 구조에서 MIC는 거리 상관계수(dcor)와 피어슨 상관계수보다 일관되게 낮은 통계적 검정력(유의수준)을 보이며, 탐색적 데이터 분석에서 거짓 양성 결과가 발생할 가능성이 높다는 점을 입증한다. 이는 MIC가 주장하는 균형성(equitability)에도 불구하고 실제 적용 시 문제를 일으킬 수 있음을 시사한다.

ABSTRACT

The proposal of Reshef et al. (2011) is an interesting new approach for discovering non-linear dependencies among pairs of measurements in exploratory data mining. However, it has a potentially serious drawback. The authors laud the fact that MIC has no preference for some alternatives over others, but as the authors know, there is no free lunch in Statistics: tests which strive to have high power against all alternatives can have low power in many important situations. To investigate this, we ran simulations to compare the power of MIC to that of standard Pearson correlation and distance correlation (dcor). We simulated pairs of variables with different relationships (most of which were considered by the Reshef et. al.), but with varying levels of noise added. To determine proper cutoffs for testing the independence hypothesis, we simulated independent data with the appropriate marginals. As one can see from the Figure, MIC has lower power than dcor, in every case except the somewhat pathological high-frequency sine wave. MIC is sometimes less powerful than Pearson correlation as well, the linear case being particularly worrisome.

연구 동기 및 목표

• 대규모 데이터셋에서 비선형 상관관계를 탐지하기 위해 제안된 MIC의 통계적 검정력을 평가하기 위해.
• MIC가 주장하는 균형성이 낮은 통계적 검정력의 대가를 치르는가를 조사하기 위해.
• 통제된 시뮬레이션 조건 하에서 기존의 피어슨 상관계수와 거리 상관계수(dcor)와의 성능을 비교하기 위해.
• 거짓 양성 결과가 문제가 될 수 있는 대규모 탐색적 데이터 마이닝 환경에서의 MIC의 신뢰성 평가하기 위해.

제안 방법

• 통계적 검정력을 추정하기 위해 각 노이즈 수준과 종속 구조 유형별로 500개의 독립적인 데이터셋을 시뮬레이션하였다.
• 공정한 비교를 위해 Reshef 등 원본 연구에서 사용한 동일한 균포 분포를 사용하였다.
• MIC, 피어슨 상관계수, dcor를 사용하여 근본적 독립성의 p-값을 계산하였으며, 독립 데이터의 시뮬레이션에서 유도된 기준치를 적용하였다.
• 모든 방법에 동일한 유의수준 기준을 적용하여 유형 I 오류 통제의 일관성을 확보하였다.
• 선형, 이차, 고주파수 사인파와 같은 여덟 가지의 다양한 종속 구조에 대해 검정력을 평가하였다.
• R을 사용하여 전체 시뮬레이션 파이프라인을 구현하였으며, 재현 가능성을 위해 코드를 공개하였다.

실험 결과

연구 질문

• RQ1 MIC는 다양한 비선형 관계, 특히 노이즈가 증가할수록 높은 통계적 검정력을 유지하는가?
• RQ2 MIC의 검정력은 선형 및 비선형 종속성을 탐지할 때 피어슨 상관계수와 dcor에 비해 어떻게 비교되는가?
• RQ3 실제 적용 환경에서 낮은 통계적 검정력으로 인해 MIC의 균형성 특성이 훼손되는가?
• RQ4 낮은 검정력으로 인해 대규모 데이터 마이닝에서 MIC가 수용 불가능한 높은 거짓 양성 비율을 낼 수 있는가?
• RQ5 거리 상관계수(dcor)는 일반적인 상관관계 탐지에 있어 MIC보다 더 강력하고 신뢰할 수 있는 대안인가?

주요 결과

• 고주파수 사인파를 제외한 모든 시뮬레이션된 종속 구조에서 MIC는 거리 상관계수(dcor)보다 낮은 통계적 검정력을 보였다.
• 선형 관계의 경우, MIC는 비선형성으로 일반화된 것으로 의도된 바에 비해 피어슨 상관계수보다 검정력이 떨어졌다. 이는 특히 우려스러운 대목이다.
• dcor의 검정력 우위는 모든 노이즈 수준과 종속 구조에서 일관되게 나타나, 더 높은 감도를 보임을 시사한다.
• MIC의 낮은 검정력은 대규모 탐색적 데이터 분석에서 수용 불가능한 높은 거짓 양성 비율을 초래할 수 있음을 시사한다.
• 저자들은 dcor가 MIC보다 더 높은 검정력, 계산의 단순성, 그리고 신뢰성 있는 대안으로서 대규모 데이터셋에서의 상관관계 탐지에 더 적합하다고 결론 내린다.
• 시뮬레이션 결과는 MIC의 균형성이 열악한 통계적 검정력으로 인해 상쇄되며, 실용적 활용도가 제한됨을 시사한다.