[논문 리뷰] Formal Limitations on the Measurement of Mutual Information

David McAllester, Karl Stratos|arXiv (Cornell University)|2018. 11. 10.

Machine Learning and Algorithms참고 문헌 27인용 수 66

한 줄 요약

본 논문은 유한 샘플에서 추정할 때 상호정보량, KL 발산, 엔트로피에 대한 분포-자유(distribution-free) 고신뢰도 하한의 보편적 통계적 한계를 증명하고, 실제로 큰 MI를 의미 있게 추정할 수 있는 차이-엔트로피(DoE) 추정기를 제안한다.

ABSTRACT

Measuring mutual information from finite data is difficult. Recent work has considered variational methods maximizing a lower bound. In this paper, we prove that serious statistical limitations are inherent to any method of measuring mutual information. More specifically, we show that any distribution-free high-confidence lower bound on mutual information estimated from N samples cannot be larger than O(ln N ).

연구 동기 및 목표

• 유한 데이터에서 상호정보량을 추정하는 어려움과 하한 추정기의 한계를 동기 부여한다.
• 분포-자유(high-confidence) 하한이 샘플 크기에 비례하는 로그 증가를 넘지 못한다는 형식적 결과를 제시한다.
• KL 발산 및 엔트로피 추정에 관한 기존의 음의 결과들을 통합하고 일반화한다.
• 상호정보량 추정을 위한 실용적 대안으로 차이-엔트로피(DoE) 접근법을 제안한다.
• 합성 데이터와 실제 데이터에서 DoE가 의미 있게 MI 추정치를 제공할 수 있음을 실증적으로 보여준다.

제안 방법

• 돈스커-바르단 프레임워크를 통해 KL 발산의 하한을 분석하고 샘플 크기 N에서 O(log N)을 넘지 못한다는 것을 보인다.
• 엔트로피 추정에 대한 분포-자유 하한의 한계를 증명하며 이것도 O(log N)으로 스케일된다.
• 이러한 한계가 어떤 분포-자유 MI 추정기도에 보편적 제약을 시사함을 보인다.
• MI를 엔트로피의 차로 표현하고 엔트로피 항을 교차 엔트로피 최소화를 통해 추정할 것을 제안한다.
• DoE 추정기를 도입하는데, 이는 교차 엔트로피 손실을 최소화함으로써 I(X;Y)를 H(pX, qX) − H(pX|Y, qX|Y)로 계산한다.
• 교차 엔트로피의 상한이 큰 엔트로피에 대해 왜 정보적일 수 있는지에 대한 이론적 논의와 DoE의 성능에 대한 실증적 증거를 제공한다.

실험 결과

연구 질문

• RQ1 N 샘플에서 추정된 분포-자유 고신뢰도 상한이 로그(N) 함수를 넘을 수 있는가?
• RQ2 KL 발산 또는 엔트로피의 하한이 반드시 MI를 제한하여 유한 샘플에서 정확한 추정을 방해하는가?
• RQ3 로그- barrier를 피하고 실제 대규모 MI 상황에서도 유용한 실용적 MI 추정기가 존재하는가?
• RQ4 MI를 엔트로피의 차로 표현하고 교차 엔트로피로 추정하는 것이 변분 하한보다 더 견고한 대안을 제공하는가?
• RQ5 합성 데이터와 실제 데이터셋에서 DoE 기반 추정치는 기존 추정기들과 어떻게 비교되는가?

주요 결과

• N샘플에서 추정된 MI의 어떤 분포-자유 고신뢰도 하한도 ln N의 차수의 함수 이상으로 넘길 수 없다.
• KL 발산 및 엔트로피의 하한도 동일한 로그제한을 겪으며, 이는 보편적 MI 추정을 제약한다.
• 교차 엔트로피 하한에 근거한 DoE 추정기는 정식 하한 보장이 없어도 실제로 큰 MI를 의미 있게 추정할 수 있다.
• 실험에서 DoE가 합성 상관 데이터와 실제 데이터에서 기존 변분 하한 추정기들을 능가한다.
• DoE를 사용할 때 큰 MI(예: 관련 기사 쌍에서 120비트 이상, 번역 쌍에서 54비트)의 실증적 결과가 나타나며, 셔플된 쌍은 거의 0에 가까운 MI를 보인다.