[논문 리뷰] Equitability Analysis of the Maximal Information Coefficient, with Comparisons

David N. Reshef, Yakir Reshef외 2명|arXiv (Cornell University)|2013. 01. 27.

Advanced Statistical Methods and Models참고 문헌 13인용 수 71

한 줄 요약

이 논문은 최대 정보 계수(MIC)의 공정성(equitability)을 분석하여, 다양한 노이즈 모델과 표본 크기에서 높은 공정성을 달성하기 위해 정규화 및 최대화 단계가 필수적임을 입증한다. MIC는 상관계수 추정 및 거리 상관계수보다 공정성에서 뛰어나며, 특히 표본 크기가 5,000 미만일 경우 기능 형태에 관계없이 유사한 노이즈 수준을 가진 관계에 대해 유사한 점수를 부여하도록 설계되어 있어 뛰어난 성능을 보인다.

ABSTRACT

A measure of dependence is said to be equitable if it gives similar scores to equally noisy relationships of different types. Equitability is important in data exploration when the goal is to identify a relatively small set of strongest associations within a dataset as opposed to finding as many non-zero associations as possible, which often are too many to sift through. Thus an equitable statistic, such as the maximal information coefficient (MIC), can be useful for analyzing high-dimensional data sets. Here, we explore both equitability and the properties of MIC, and discuss several aspects of the theory and practice of MIC. We begin by presenting an intuition behind the equitability of MIC through the exploration of the maximization and normalization steps in its definition. We then examine the speed and optimality of the approximation algorithm used to compute MIC, and suggest some directions for improving both. Finally, we demonstrate in a range of noise models and sample sizes that MIC is more equitable than natural alternatives, such as mutual information estimation and distance correlation.

연구 동기 및 목표

• 의존도 측정법의 이론적 및 실용적 기초를 고차원 데이터 탐색의 맥락에서 조사한다.
• MIC의 정규화 및 최대화 단계가 다른 의존도 측정법과 대비하여 공정성 확보에 필수적인지 규명한다.
• 근사 알고리즘의 파라미터가 MIC의 실행 시간과 정확도에 미치는 영향을 평가하고, 알고리즘 오차가 공정성 이탈에 기여하는지 분석한다.
• 다양한 노이즈 모델과 표본 크기에서 MIC의 공정성과 상관계수 추정 및 거리 상관계수를 비교한다.
• MIC의 공정성이 설계적 특성에서 기인하는지 상관계수의 내재적 성질에서 기인하는지 탐색하고, 공정성과 통계적 검정력 사이의 상충 관계를 평가한다.

제안 방법

• 노이즈가 있는 기능적 관계 맥락에서 공정성의 형식적 정의를 사용한다: 측정법이 동일한 노이즈 수준을 가진 관계에 대해 기능 유형에 관계없이 유사한 점수를 할당하면 공정하다고 간주한다.
• 제어된 노이즈 수준을 가진 테스트 함수(예: 선형, 지수, 삼각함수)를 사용하여 여섯 가지 다른 노이즈 모델 하에서 다양한 관계 유형을 시뮬레이션한다.
• 표본 크기 n=500, n=5000, n=10,000, n=20,000에서 MIC를 상관계수(Kraskov 등의 추정기 사용) 및 거리 상관계수와 비교한다.
• 정규화 또는 최대화 단계를 제거한 MIC 변형을 분석하여 각 성분이 공정성에 기여하는 정도를 분리한다.
• 근사 알고리즘의 파라미터(예: 격자 해상도, 반복 수)를 변화시켜 실행 시간과 정확도의 상충 관계를 평가한다.
• 동일한 R² 값을 가진 관계들에 대한 MIC 점수의 표준편차를 사용해 공정성 수준을 측정하며, 낮은 값일수록 더 높은 공정성을 의미한다.

실험 결과

연구 질문

• RQ1 MIC의 정규화 및 최대화 단계는 공정성 확보에 필수적인가, 아니면 상관계수와 같은 간단한 측정법이 유사한 공정성을 달성할 수 있는가?
• RQ2 상관계수 추정에서 스무딩 파라미터의 선택이 다양한 노이즈 모델과 표본 크기에서 MIC 대비 공정성에 어떤 영향을 미치는가?
• RQ3 MIC 근사 알고리즘에 의해 유도되는 오차가 이상적인 공정성에서의 이탈에 어느 정도 기여하는가?
• RQ4 표본 크기가 제한된 경우, 다양한 노이즈 모델 하에서 MIC의 공정성은 거리 상관계수 및 상관계수 추정과 비교해 어떻게 나타나는가?
• RQ5 알고리즘 파라미터 조정을 통해 공정성 손실 없이 MIC 계산을 더 효율적으로 수행할 수 있는가?

주요 결과

• MIC의 정규화 및 최대화 단계는 공정성 확보에 필수적이다; 이 중 어느 하나라도 제거되면 모든 노이즈 모델에서 공정성이 크게 저하된다.
• n=500일 때, MIC는 상관계수 추정보다 유의미하게 더 높은 공정성을 보이며, 수평 및 수직 노이즈가 병합된 경우 동일한 R²를 가진 관계에서 상관계수의 점수 차이가 최대 0.65까지 발생함을 확인했다.
• n=5000일 때도 대부분의 노이즈 모델에서 MIC가 상관계수 추정보다 공정성에서 뛰어나며, 수직 노이즈 전용 모델을 제외하고는 유사한 성능을 보였다.
• 수평 노이즈 전용 모델에서는 동일한 노이즈 수준을 가진 관계에 대해 상관계수 점수가 최대 0.88의 차이를 보이며 공정성이 낮음을 시사하지만, MIC는 일관된 점수를 유지한다.
• 보고된 MIC 값의 공정성 이탈은 근사 알고리즘 오차의 영향을 일부 받고 있으며, 이는 향상된 알고리즘이 MIC의 성능을 향상시킬 수 있음을 시사한다.
• MIC 근사 알고리즘의 기본 설정은 공정성 손실 최소화로 실행 시간을 크게 단축시킬 수 있도록 조정 가능하므로 실용적 응용에서 최적화 여지가 있음을 보여준다.