[논문 리뷰] Mutual information is copula entropy

Jian Ma, Zengqi Sun|ArXiv.org|2008. 08. 06.

Cognitive Science and Education Research참고 문헌 1인용 수 8

한 줄 요약

이 논문은 상호정보량(MI)이 음의 공분포 엔트로피와 동일하다는 것을 증명하여 정보이론과 공분포이론 사이의 기본적인 연결 고리를 확립한다. 데이터를 경험적 공분포 균일분포로 변환한 후 기존의 엔트로피 추정기법을 사용하여 공분포 엔트로피를 추정하는 새로운 MI 추정 방법을 제안하며, 정규분포 데이터에서 경쟁 가능한 성능을 보여준다.

ABSTRACT

We prove that mutual information is actually negative copula entropy, based on which a method for mutual information estimation is proposed.

연구 동기 및 목표

• 상호정보량과 공분포 엔트로피 사이의 이론적 동치성을 확립하기 위해.
• Sklar의 정리와 공분포 밀도 표현을 바탕으로 상호정보량이 엔트로피의 한 형태임을 보여주어 정보이론과 공분포이론을 연결하기 위해.
• 공분포 기반 엔트로피 추정을 사용하여 상호정보량을 추정하는 실용적인 방법을 개발하기 위해.
• 제안된 방법의 성능을 기존의 상호정보량 추정 기법들과 비교하기 위해.

제안 방법

• Sklar의 정리와 공분포 밀도 표현을 기반으로 이론적으로 상호정보량 I(X)가 음의 공분포 엔트로피 -Hc(X)와 정확히 동일하다는 것을 증명한다.
• 원본 데이터를 경험적 누적분포함수(CDF)를 사용하여 변환함으로써 경험적 공분포 표본을 생성한다.
• 경험적 공분포 표본에서 공분포 밀도를 추정하여 단위 초입체 내 균일 변환된 데이터셋을 형성한다.
• 기존에 잘 알려진 엔트로피 추정기법(예: Kraskov 등(2004)의 k-최근접이웃(kNN) 방법)을 사용하여 공분포 엔트로피 Hc를 추정한다.
• 그 후 추정된 공분포 엔트로피의 음수를 취하여 상호정보량을 산출한다: I(X) = -Hc(X).
• 기존의 엔트로피 추정 기법을 활용하므로 모듈식이며 다양한 엔트로피 추정기법에 쉽게 적용 가능하다.

실험 결과

연구 질문

• RQ1 상호정보량은 공분포에서 유도된 특정 엔트로피 형태와 수학적으로 동일한가?
• RQ2 공분포 엔트로피 추정은 상호정보량 추정의 신뢰할 수 있는 대안이 될 수 있는가?
• RQ3 공분포 기반 상호정보량 추정의 성능은 kNN 기반 추정과 같은 기존 방법과 비교하여 어떻게 되는가?
• RQ4 공동엔트로피, 주변엔트로피, 공분포 엔트로피 사이의 이론적 관계는 무엇인가?

주요 결과

• 논문은 엄밀한 수학적 동치성을 확립한다: 상호정보량 I(X)는 정확히 음의 공분포 엔트로피 -Hc(X)와 동일하다.
• 공동엔트로피 H(X), 주변엔트로피 H(xi), 공분포 엔트로피 간의 관계는 H(X) = ΣH(xi) + Hc(X)로 표현됨을 보여준다.
• 제안된 방법은 이변량 정규분포 데이터에서 경쟁 가능한 추정 정확도를 보이며, 분석적 해와 매우 유사한 결과를 얻는다.
• 상관계수 ρ가 0에서 0.9까지 변하는 1000개의 이변량 정규분포 표본 세트에서, 공분포 엔트로피 기반 방법은 모든 ρ 수준에서 분석적 상호정보량 값과 정확히 일치한다.
• 실험적 비교를 통해 Kraskov 등(2004)의 kNN 기반 상호정보량 추정기보다 성능이 뛰어나거나 동등한 것으로 나타났다.