[논문 리뷰] Theoretical Foundations of Equitability and the Maximal Information Coefficient

Yakir Reshef, David N. Reshef외 2명|arXiv (Cornell University)|2014. 08. 21.

Bayesian Modeling and Causal Inference참고 문헌 27인용 수 10

한 줄 요약

이 논문은 정규성과 최대 정보 계수(MIC)의 이론적 기초를 체계화하며, 상호정보량과의 관계를 명확히 하기 위해 인구 수준의 MIC 버전인 MIC*를 도입한다. MIC*는 상호정보량의 연속적이고 표준화된 스무딩으로서, 의존도 측정법의 성질로써 정규성을 일반화하는 엄밀한 프레임워크를 제공한다. 이는 이전 연구에서의 애매함을 해결하고 새로운 추정기 및 계산 방법을 가능하게 한다.

ABSTRACT

The maximal information coefficient (MIC) is a tool for finding the strongest pairwise relationships in a data set with many variables (Reshef et al., 2011). MIC is useful because it gives similar scores to equally noisy relationships of different types. This property, called {\em equitability}, is important for analyzing high-dimensional data sets. Here we formalize the theory behind both equitability and MIC in the language of estimation theory. This formalization has a number of advantages. First, it allows us to show that equitability is a generalization of power against statistical independence. Second, it allows us to compute and discuss the population value of MIC, which we call MIC_*. In doing so we generalize and strengthen the mathematical results proven in Reshef et al. (2011) and clarify the relationship between MIC and mutual information. Introducing MIC_* also enables us to reason about the properties of MIC more abstractly: for instance, we show that MIC_* is continuous and that there is a sense in which it is a canonical "smoothing" of mutual information. We also prove an alternate, equivalent characterization of MIC_* that we use to state new estimators of it as well as an algorithm for explicitly computing it when the joint probability density function of a pair of random variables is known. Our hope is that this paper provides a richer theoretical foundation for MIC and equitability going forward. This paper will be accompanied by a forthcoming companion paper that performs extensive empirical analysis and comparison to other methods and discusses the practical aspects of both equitability and the use of MIC and its related statistics.

연구 동기 및 목표

• 관계의 유형에 관계없이 동일한 노이즈 수준을 가진 관계에 대해 유사한 점수를 부여하는 데 목적이 있는 정규성 개념에 대한 공식적인 이론적 프레임워크를 제공하는 것.
• 의존도 측정법의 성질로써 정규성을 일반화하는 데 기여하는, 상호정보량의 표준화된 스무딩으로서의 MIC*를 정의하고 분석하는 것.
• MIC와 상호정보량 사이의 수학적 관계를 명확히 하여, MIC*가 이전 결과를 일반화하고 강화함을 보여주는 것.
• 기존 논문에서 제시된 정규성 정의의 애매함을 제거하기 위해 추정 이론에 기반한 정밀하고 일반화 가능한 공식을 도입하는 것.
• MIC*의 새로운 특성화를 유도함으로써 새로운 계산 및 통계 도구를 가능하게 하는 것. 이는 실제 계산이 가능하고, 추정에 유용한 대체적이고 동치의 표현을 제공한다.

제안 방법

• MIC*를 MIC의 인구 수준 극한으로 정의하며, 이는 두 확률 변수의 연합 분포를 분할하는 모든 유한 격자에 대해 정규화된 상호정보량의 상한값으로 정의된다.
• 추정 이론을 활용하여 정규성을 통계적 귀무가설에 대한 검정력의 일반화로 공식화하고, 효과 크기 추정과 연결한다.
• 엔트로피와 이진 엔트로피 함수를 포함한 정보 이론적 도구를 사용하여, 연합 분포의 변형에 따른 상호정보량의 이탈을 근사한다.
• 격자 기반 근사화를 활용하여 MIC*의 새로운 특성화를 유도하고, MIC*가 기본 분포에 대해 연속적임을 증명한다.
• 확률 질량의 변형에 따른 엔트로피 차이를 근사하는 보조정리(예: 보조정리 A.7)를 활용하여, MIC*의 안정성과 수렴 성질을 확립한다.
• 유도된 특성화를 바탕으로 MIC*의 새로운 추정기들을 제안하여, 연합 밀도함수가 알려져 있을 경우의 실용적 계산을 가능하게 한다.

실험 결과

연구 질문

• RQ1 정규성의 정확한 이론적 정의는 무엇이며, 다양한 유형의 관계에 걸쳐 일반화 가능한 방식으로 어떻게 체계화할 수 있는가?
• RQ2 MIC*는 상호정보량과 어떻게 관련되어 있으며, 어떤 의미에서 상호정보량의 표준화된 스무딩인가?
• RQ3 연합 밀도함수가 알려져 있을 경우 MIC*는 명시적으로 계산할 수 있는가? 이러한 계산의 계산적 및 통계적 성질은 무엇인가?
• RQ4 작은 분포 변화에 대한 MIC*의 연속성과 안정성에 대한 이론적 보장은 무엇인가?
• RQ5 MIC*를 통한 정규성의 체계화는 이전 연구에서 제시된 정규성 정의의 애매함과 한계를 어떻게 해결하는가?

주요 결과

• MIC*는 모든 유한 격자에 대해 정규화된 상호정보량의 상한값으로 공식화되어, MIC의 인구 수준 기준이 된다.
• MIC*는 기본 연합 분포에 대해 연속적이므로, 데이터 생성 메커니즘의 미세한 변화에 대해 안정적인 행동을 보장한다.
• MIC*는 상호정보량과의 엄밀한 연결을 제공함으로써 원래 MIC 논문의 수학적 결과를 일반화하고 강화한다.
• MIC*에 대한 대체적이고 동치의 특성화가 도출되어, 연합 밀도함수가 알려져 있을 경우의 명시적 계산이 가능하고, 새로운 추정 알고리즘을 지원한다.
• 체계화된 프레임워크는 정규성이 귀무가설에 대한 검정력의 일반화임을 보여주며, 이를 더 넓은 추정 이론적 맥락에 통합한다.
• 엔트로피의 변형에 관한 보조정리(예: 보조정리 A.7)는 MIC*가 연합 분포의 미세한 변화에 대해 강건함을 보여주며, 이는 이진 엔트로피와 log-k 항을 포함한 근사로 이루어진다.