[논문 리뷰] Estimators for Multivariate Information Measures in General Probability Spaces

Arman Rahimzamani, Himanshu Asnani외 2명|arXiv (Cornell University)|2018. 10. 26.

Statistical Mechanics and Entropy참고 문헌 54인용 수 8

한 줄 요약

이 논문은 일반 확률 공간, 특히 혼합 이산-연속 및 저차원 다양체 구조를 포함한 다변량 정보 측도—상호정보량, 조건부 상호정보량, 유도 정보량 등—에 대한 새로운 추정기(_estimator)를 제안한다. 직접 라돈-니코딤 미분을 추정하는 커플링 기반 접근법을 사용함으로써 엔트로피 분해(ΣH 프레임워크)를 회피하여 기존 방법이 실패하는 영역에서도 일致성 있는 추정이 가능해지며, 시뮬레이션 및 실제 데이터에서 기존 추정기들보다 뚜렷이 뛰어난 성능을 보인다.

ABSTRACT

Information theoretic quantities play an important role in various settings in machine learning, including causality testing, structure inference in graphical models, time-series problems, feature selection as well as in providing privacy guarantees. A key quantity of interest is the mutual information and generalizations thereof, including conditional mutual information, multivariate mutual information, total correlation and directed information. While the aforementioned information quantities are well defined in arbitrary probability spaces, existing estimators add or subtract entropies (we term them $ΣH$ methods). These methods work only in purely discrete space or purely continuous case since entropy (or differential entropy) is well defined only in that regime. In this paper, we define a general graph divergence measure ($\mathbb{GDM}$), as a measure of incompatibility between the observed distribution and a given graphical model structure. This generalizes the aforementioned information measures and we construct a novel estimator via a coupling trick that directly estimates these multivariate information measures using the Radon-Nikodym derivative. These estimators are proven to be consistent in a general setting which includes several cases where the existing estimators fail, thus providing the only known estimators for the following settings: (1) the data has some discrete and some continuous-valued components (2) some (or all) of the components themselves are discrete-continuous mixtures (3) the data is real-valued but does not have a joint density on the entire space, rather is supported on a low-dimensional manifold. We show that our proposed estimators significantly outperform known estimators on synthetic and real datasets.

연구 동기 및 목표

• 일반적인 확률 공간에서 다변량 정보 측도에 대한 일치성 있는 추정기가 부족한 문제를 해결하고자 하며, 특히 데이터에 이산-연속 혼합 성분이 있거나 저차원 다양체 위에 지지되는 경우에 적용 가능하도록 한다.
• 공통적으로 사용되는 ΣH 프레임워크의 한계를 극복하고자 하며, 이는 엔트로피 분해에 의존하지만 공동 밀도가 존재하지 않거나 성분이 혼합된 경우에 실패하기 때문이다.
• 상호정보량 및 그 변종을 일반화하는 통합된 프레임워크를 개발하여 그래프 발산 측도를 위한 틀을 마련함으로써, 복잡한 실제 데이터 구조에서도 추정이 가능하도록 한다.
• 인과관계 추론, 특징 선택, 그래픽 모델 학습과 같은 실용적 응용에서 제안된 추정기가 뛰어난 성능을 보임을 입증하고자 한다.
• 엄격한 정규성 조건이 아닌 약한 조건 하에서도 추정기의 이론적 일致성 보장을 제공함으로써 순수 이산 또는 연속 설정을 넘어서 적용 가능성을 넓히고자 한다.

제안 방법

• 베이지안 네트워크 구조에 의해 제약을 받는 분포와 진정한 데이터 분포 간의 쿨백-라이블러 발산으로 일반화된 그래프 발산 측도(GDM)를 도입한다.
• 실제 데이터와 모델 분포 간의 라돈-니코딤 미분을 직접 추정하는 커플링 기반 추정기를 개발하여 엔트로피 분해 과정을 피한다.
• 공간적 합성 분포에서 최근접 이웃 또는 커널 기반 밀도 추정을 통해 비모수적이고 표본 기반의 GDM 추정 방법을 사용한다.
• 적절한 그래프 구조로 GDM을 특수화하여 조건부 상호정보량, 총 상관도, 유도 정보량의 일致한 추정을 도출한다.
• 두 단계 추정 절차를 적용한다: 먼저 이원 조건부 RDI(기각 기반 유도 정보량)를 추정하고, 이를 바탕으로 인과관계 탐지에 사용할 수 있는 cRDI(조건부 RDI)를 계산한다.
• 합성 및 실제 데이터셋을 사용하여 방법을 검증하고, 인과관계 추론, 특징 선택, 그래픽 모델 추론 등의 후속 작업에서 KSG, 분할 기반, ΣH 추정기들과의 성능을 비교한다.

실험 결과

연구 질문

• RQ1 혼합 이산-연속 성분을 포함하는 확률 공간에서 다변량 정보 측도를 일치성 있게 추정할 수 있는가?
• RQ2 공동 분포가 전체 공간이 아닌 저차원 다양체 위에 지지되는 경우에도 일치성 있는 추정이 가능할 수 있는가?
• RQ3 상호정보량, 조건부 상호정보량, 총 상관도, 유도 정보량을 하나의 프레임워크에서 일반화하는 통합된 추정기가 존재하는가?
• RQ4 제안된 추정기는 ΣH 및 KSG 기반 기존 방법들과 비교해 다양한 데이터 유형에서 정확도와 내성에 있어 어떻게 성능을 냈는가?
• RQ5 실제 응용, 예를 들어 인과관계 추론 및 특징 선택에서 추정기가 성능 향상에 기여할 수 있는가?

주요 결과

• 제안된 GDM 기반 추정기는 기존 추정기가 실패하는 일반적인 확률 공간—혼합 이산-연속 및 저차원 다양체 설정 포함—에서 다변량 정보 측도에 대해 일치성 있는 추정을 달성한다.
• 영향력이 없는 변수나 혼합 유형 변수를 포함한 시뮬레이션 데이터에서, GDM 추정기는 조건부 상호정보량 추정에서 KSG, 분할 기반, ΣH 방법보다 뚜렷이 뛰어나며, 인과관계 탐지 작업에서 AUROC 개선 폭이 최소 10% 이상이다.
• CMIM 및 CMIM-2를 사용한 특징 선택에서, GDM 추정기는 다른 추정기들보다 더 높은 정확도와 더 빠른 수렴 속도로 첫 다섯 개의 관련 특징(X1부터 X5까지)을 정확히 식별한다.
• 공동 밀도가 존재하지 않는 경우, 예를 들어 신경망 활성화나 드롭아웃 효과가 있는 유전자 발현 데이터와 같이 ΣH 방법이 강하게 음수이자 의미 없는 추정치를 내는 상황에서도 GDM 추정기는 안정적인 성능을 유지한다.
• 유전자 조절 네트워크 추론에서, GDM 추정기를 사용한 cRDI 방법은 KSG 및 분할 기반 방법보다 높은 AUROC 성능을 보이며, 표본 수가 적은 경우에도 유의미한 우월성을 나타낸다.
• 표본 수가 증가함에 따라 GDM 추정기와 다른 추정기 간의 성능 격차가 더욱 벌어지며, 이는 강력한 일치성과 확장성의 가능성을 시사한다.