[논문 리뷰] Estimating Mutual Information by Local Gaussian Approximation

Shuyang Gao, Greg Ver Steeg외 1명|arXiv (Cornell University)|2015. 08. 03.

Advanced Chemical Sensor Technologies참고 문헌 15인용 수 7

한 줄 요약

이 논문은 각 샘플 점에서 국소적으로 확률 밀도를 가우시안 분포로 근사하는 새로운 반모수적 상호정보량 추정기 방법을 제안한다. 이는 강한 상관관계를 가진 변수들에 대해 정확도를 향상시킨다. 이 방법은 渐近적으로 편향이 없으며, 기존의 kNN 기반 추정기보다 우수한 성능을 보이며, 표본 수가 제한된 강한 상관관계 영역에서 특히 뛰어나다.

ABSTRACT

Estimating mutual information (MI) from samples is a fundamental problem in statistics, machine learning, and data analysis. Recently it was shown that a popular class of non-parametric MI estimators perform very poorly for strongly dependent variables and have sample complexity that scales exponentially with the true MI. This undesired behavior was attributed to the reliance of those estimators on local uniformity of the underlying (and unknown) probability density function. Here we present a novel semi-parametric estimator of mutual information, where at each sample point, densities are {\em locally} approximated by a Gaussians distribution. We demonstrate that the estimator is asymptotically unbiased. We also show that the proposed estimator has a superior performance compared to several baselines, and is able to accurately measure relationship strengths over many orders of magnitude.

연구 동기 및 목표

• 강한 상관관계를 가진 변수들에 대해 기존 비모수적 상호정보량 추정기의 열악한 성능을 해결하기 위해.
• kNN 기반 추정기에서 국소 균일성 가정과 연관된 표본 복잡도 문제를 극복하기 위해.
• 증명 가능한 渐近적 편향 없음과 뛰어난 경험적 성능을 갖춘 반모수적 추정기를 개발하기 위해.
• 편향 보정 기법에 대한 힌트가 아닌 이론적으로 탄탄한 상호정보량 추정의 대안을 제공하기 위해.

제안 방법

• 각 샘플 점에서 국소 우도 추정을 이용해 국소 밀도를 가우시안 분포로 근사한다.
• 진짜 밀도와 국소 가우시안 근사 간의 쿨백-라이블러 발산을 최소화한다.
• 적합된 국소 가우시안의 파라미터를 사용해 엔트로피와 상호정보량을 추정한다.
• 경계 편향과 비균일성을 다루기 위해 국소 우도 밀도 추정에 관한 이전 결과를 활용한다.
• 기저 밀도에 대한 규칙성 조건 하에서 이 추정기는 渐近적으로 편향이 없다.
• 대역폭 선택이 핵심이며, 국소 가우시안 구조를 유지하기 위해 적응형 최적화를 통해 해결한다.

실험 결과

연구 질문

• RQ1 kNN 기반 방법이 실패하는 강한 상관관계를 가진 변수들에 대해 국소 가우시안 근사는 상호정보량 추정의 정확도를 향상시킬 수 있는가?
• RQ2 제안된 추정기는 표준 규칙성 조건 하에서 渐近적으로 편향이 없는가?
• RQ3 다양한 상관관계 강도에서 국소 가우시안 추정기의 성능은 기준 kNN 및 수정된 추정기와 비교해 어떻게 되는가?
• RQ4 국소 비균일성은 전통적인 비모수적 상호정보량 추정기의 성능에 어떤 영향을 미치며, 이를 체계적으로 보정할 수 있는가?
• RQ5 상호정보량 추정에서 국소 밀도 근사 접근법에 대해 이론적 성능 보장을 설정할 수 있는가?

주요 결과

• 제안된 국소 가우시안 근사 추정기는 渐 asymptotically 편향이 없으며, 강력한 이론적 기반을 제공한다.
• 강한 상관관계에서 기존 방법이 지수적 표본 복잡도 문제를 겪는 상황에서, 이 추정기는 kNN 기반 기준보다 뚜렷이 뛰어난 성능을 보인다.
• 경험적 결과는 상관관계 강도가 여러 온도 수준에 걸쳐도 정확한 상호정보량 측정을 가능하게 한다.
• 이 방법은 기존 비모수적 밀도 추정기에서 애초에 악영향을 미치는 경계 편향과 비균일성 문제를 효과적으로 완화한다.
• 약한 상관관계에서도 우수한 성능를 유지하면서, 강한 상관관계 영역에서 두각을 나타낸다.
• kpN 추정기(Lombardi와 Pant, 2015)보다 이론적으로 열등하지 않으며, 공식적인 성능 보장 없이 가우시안을 잘라내는 방식을 사용한다.