[논문 리뷰] Estimating Mutual Information for Discrete-Continuous Mixtures

Weihao Gao, Sreeram Kannan외 2명|arXiv (Cornell University)|2017. 09. 19.

Bayesian Modeling and Causal Inference참고 문헌 5인용 수 77

한 줄 요약

이 논문은 Radon-Nikodym 유도체와 k-최근접 이웃을 기반으로 한 혼합 이산-연속 분포에 대한 상호 정보 추정기에 대해 소개하고, 일관성을 입증하며, 기준 대비 우수한 성능을 보임을 보여준다.

ABSTRACT

Estimating mutual information from observed samples is a basic primitive, useful in several machine learning tasks including correlation mining, information bottleneck clustering, learning a Chow-Liu tree, and conditional independence testing in (causal) graphical models. While mutual information is a well-defined quantity in general probability spaces, existing estimators can only handle two special cases of purely discrete or purely continuous pairs of random variables. The main challenge is that these methods first estimate the (differential) entropies of X, Y and the pair (X;Y) and add them up with appropriate signs to get an estimate of the mutual information. These 3H-estimators cannot be applied in general mixture spaces, where entropy is not well-defined. In this paper, we design a novel estimator for mutual information of discrete-continuous mixtures. We prove that the proposed estimator is consistent. We provide numerical experiments suggesting superiority of the proposed estimator compared to other heuristics of adding small continuous noise to all the samples and applying standard estimators tailored for purely continuous variables, and quantizing the samples and applying standard estimators tailored for purely discrete variables. This significantly widens the applicability of mutual information estimation in real-world applications, where some variables are discrete, some continuous, and others are a mixture between continuous and discrete components.

연구 동기 및 목표

• 변수가 혼합 이산 및 연속일 때 정확한 상호 정보 추정을 위한 동기를 제시한다.
• 엔트로피가 잘 정의되지 않는 일반 측도 공간에서도 작동하는 직접 추정기를 개발한다.
• 추정기에 대한 이론적 보장(일관성)을 확립한다.
• 합성 및 실제 데이터에서 표준 기준선에 대한 실용적 성능을 시연한다.

제안 방법

• 일반 분포에 대해 Radon-Nikodym 도함수를 통해 MI를 정의한다.
• 각 샘플에서 도함수를 추정하기 위해 k-NN 거리(k-최근접 이웃)를 활용하는 혼합 변수 MI 추정기를 제안한다.
• 결합 이산 포인트, 결합-밀도 영역, 순수 연속 부분을 하나의 통합된 체계로 다룬다.
• 완만한 기술 조건 하에서 추정기의 일관성(ℓ2-일관성)을 보인다.
• 본 추정기가 방법의 극한으로서 특별한 경우(순수 이산, 순수 연속 또는 혼합)를 재현한다는 것을 보인다.
• 이산화, 적응 분할 및 노이즈-KSG 기준선과의 실증적 비교를 수행한다.

실험 결과

연구 질문

• RQ1 X와/또는 Y가 이산 및 연속 구성 요소의 혼합일 때 MI를 일관되게 추정할 수 있는가?
• RQ2 혼합 영역에서 Radon-Nikodym 기반 추정기가 3H 기반 및 KSG 스타일 방법에 비해 어떤 성능을 보이는가?
• RQ3 제안된 추정기가 순수 이산, 순수 연속 및 혼합 설정에 적응하는가?
• RQ4 합성 및 실제 세계 혼합 데이터 작업에서 추정기의 경험적 성능은 어떠한가?

주요 결과

• 추정기는 기술적 가정과 일반적인 실제 분포 하에서 ℓ2 일관성을 가진다.
• 이산화하거나 혼합 변수를 노이즈를 추가하는 기준선보다 다수의 실험에서 우수한 성능을 보인다.
• 이 방법은 순수 이산 및 순수 연속 케이스를 특별한 경우로 자연스럽게 재현한다.
• 실험에는 고차원 혼합 및 제로-인플레이티드 분포가 포함되어 견고한 성능을 보인다.
• 드롭아웃과 유사한 손상 하에서 특성 선택 및 유전자 조절 네트워크 추론에의 응용이 포함된다.
• 경험적 결과는 이산화 및 노이즈-KSG 접근법에 비해 표본 효율성이 우수함을 시연한다.