[논문 리뷰] Information Theory Measures via Multidimensional Gaussianization

Valero Laparra, J. Emmanuel Johnson외 3명|arXiv (Cornell University)|2020. 10. 08.

Gaussian Processes and Bayesian Inference참고 문헌 71인용 수 4

한 줄 요약

이 논문은 다변량 정규화를 통해 정보이론 측정치—엔트로피, 칼룸비어-라이블러 발산, 상호정보량—을 추정하는 새로운 프레임워크를 제안한다. 반복적인 비상관화와 분산 안정화를 통해 데이터를 다변량 정규분포에 가깝게 변환함으로써, 다양한 분포와 차원에서 기존 기법들인 kNN, KDP, RBIG에 비해 훨씬 뛰어난 편향과 분산 성능을 달성한다. 특히 고차원 환경에서 뛰어난 성능을 보인다.

ABSTRACT

Information theory is an outstanding framework to measure uncertainty, dependence and relevance in data and systems. It has several desirable properties for real world applications: it naturally deals with multivariate data, it can handle heterogeneous data types, and the measures can be interpreted in physical units. However, it has not been adopted by a wider audience because obtaining information from multidimensional data is a challenging problem due to the curse of dimensionality. Here we propose an indirect way of computing information based on a multivariate Gaussianization transform. Our proposal mitigates the difficulty of multivariate density estimation by reducing it to a composition of tractable (marginal) operations and simple linear transformations, which can be interpreted as a particular deep neural network. We introduce specific Gaussianization-based methodologies to estimate total correlation, entropy, mutual information and Kullback-Leibler divergence. We compare them to recent estimators showing the accuracy on synthetic data generated from different multivariate distributions. We made the tools and datasets publicly available to provide a test-bed to analyze future methodologies. Results show that our proposal is superior to previous estimators particularly in high-dimensional scenarios; and that it leads to interesting insights in neuroscience, geoscience, computer vision, and machine learning.

연구 동기 및 목표

• 고차원 및 비정규 분포 환경에서 정보이론 측정치 추정의 정확도를 향상시키기 위해.
• 작은 표본 및 고차원 환경에서 기존 비모수적 추정기의 높은 편향과 분산 문제를 해결하기 위해.
• 다차원 가우시안화를 활용해 안정화되고 향상된 추정 성능을 제공하는 통합 프레임워크를 개발하기 위해.
• 가우시안, 균일, 스튜던트-t 분포를 포함한 다양한 분포에서의 방법의 강인성 평가를 위해.
• 기계학습 및 신호처리 분야에서 정보이론적 분석을 위한 실용적이고 확장 가능한 솔루션을 제공하기 위해.

제안 방법

• 빠른 ICA 알고리즘을 활용해 반복적인 비상관화와 분산 안정화를 통해 입력 데이터를 다변량 정규분포로 변환하기 위해.
• 각 차원에 비선형 변환을 적용하여 단위 분산을 확보하고 고차원 의존성을 감소시키기 위해.
• 가우시안화된 데이터에서 분석 공식을 사용해 정보이론적 양(엔트로피, KL 발산, 상호정보량)을 추정하기 위해.
• 편향과 분산을 줄이고 강인성을 향상시키기 위해 다중 시도에 걸친 앙상블 평균을 사용하기 위해.
• 기존 기법들과의 성능 비교를 위해 RBIG, kNN, KDP, expF, vME, 앙상블(Ens) 접근법을 대조하기 위해.
• 분석적 기준값에 대한 상대 평균 절대 오차(rMAE)를 사용해 결과 평가하기 위해.

실험 결과

연구 질문

• RQ1 제안된 가우시안화 기반 방법은 엔트로피 추정에서 기존 비모수적 추정기와 비교해 편향과 분산 측면에서 어떻게 성능을 내는가?
• RQ2 가우시안 분포와 체중이 무거운(스튜던트-t) 분포 간의 칼룸비어-라이블러 발산 추정에서 이 방법의 성능은 어떠한가?
• RQ3 다양한 차원과 분포 가정 하에서 상호정보량은 가우시안화 프레임워크를 통해 얼마나 정확하게 추정될 수 있는가?
• RQ4 이 방법은 다양한 표본 크기와 증가하는 데이터 차원성에서 낮은 오차를 유지하는가?
• RQ5 비정규, 체중이 무거운, 균일 분포 데이터 환경에서 이 방법의 성능은 어떠한가?

주요 결과

• 제안된 방법은 모든 테스트된 분포와 차원에서 기존 기준 기법들보다 유의미하게 낮은 상대 평균 절대 오차(rMAE)를 달성한다.
• 엔트로피 추정에서, 이 방법은 특히 고차원(D=100)에서 RBIG, kNN, KDP를 능가하며 중간 크기의 표본 크기에서 rMAE가 5% 이하로 유지된다.
• 가우시안 분포 간 KL 발산 추정에서, 평균 또는 표준편차를 이동시키는 조건에서도 rMAE가 3% 이하로 유지되며, kNN 및 KDP를 능가한다.
• 가우시안 분포와 다변량 스튜던트-t 분포 간 KL 발산 추정에서, 자유도(ν=0.2에서 0.6)가 변화하는 동안 안정적인 성능을 보이며 rMAE가 4% 이하로 유지된다.
• 상호정보량 추정에서, 이 방법은 가우시안 및 체중이 무거운(ν=3,5,20) 분포 모두에서 가장 낮은 rMAE를 기록하며, 특히 D=50 및 D=100에서 뛰어난 성능을 보인다.
• 앙상블 버전(Ens)은 추가로 분산을 줄이며 다섯 개의 독립 시도에서 안정적인 신뢰구간을 보이며 강인성을 입증한다.