[논문 리뷰] Neural Entropic Estimation: A faster path to mutual information estimation

Chung Chan, Ali Al-Bashabsheh외 4명|arXiv (Cornell University)|2019. 05. 30.

Neural Networks and Applications참고 문헌 26인용 수 12

한 줄 요약

이 논문은 상호정보량 추정을 가속화하기 위해 균일한 기준 분포를 사용하여 엔트로피를 먼저 추정하는 새로운 신경 추정 방법인 MI-NEE를 제안한다. 이는 MINE보다 더 빠른 수렴을 가능하게 한다. MINE의 근사 확률밀도의 곱을 사용하는 기준 분포를 균일한 분포로 대체함으로써, 이중 및 고차원 정규 모델에서 학습 반복 수를 최대 70% 감소시키며, 저밀도 영역에서 개선된 그래디언트 신호를 통해 정확도를 유지한다.

ABSTRACT

We point out a limitation of the mutual information neural estimation (MINE) where the network fails to learn at the initial training phase, leading to slow convergence in the number of training iterations. To solve this problem, we propose a faster method called the mutual information neural entropic estimation (MI-NEE). Our solution first generalizes MINE to estimate the entropy using a custom reference distribution. The entropy estimate can then be used to estimate the mutual information. We argue that the seemingly redundant intermediate step of entropy estimation allows one to improve the convergence by an appropriate reference distribution. In particular, we show that MI-NEE reduces to MINE in the special case when the reference distribution is the product of marginal distributions, but faster convergence is possible by choosing the uniform distribution as the reference distribution instead. Compared to the product of marginals, the uniform distribution introduces more samples in low-density regions and fewer samples in high-density regions, which appear to lead to an overall larger gradient for faster convergence.

연구 동기 및 목표

• 상호정보량 신경추정(MINE)의 느린 수렴 문제, 특히 고차원 및 저상관관계 설정에서의 문제를 해결하기 위해.
• 맞춤형 기준 분포를 사용한 중간 단계의 엔트로피 추정을 통해 학습 효율성을 향상시키기 위해.
• 균일한 기준 분포가 MINE의 근사 확률밀도의 곱 기준 분포보다 더 빠른 수렴을 이끌 수 있음을 입증하기 위해.
• 제한된 데이터와 고차원성의 현실 세계 응용 분야에서 MINE보다 더 신뢰성 있고 빠른 대안을 제공하기 위해.
• 이중 및 고차원 정규 모델에서 방법을 검증하여 더 빠른 수렴 속도와 안정성을 입증하기 위해.

제안 방법

• MI-NEE는 MINE을 일반화하여 직접 상호정보량을 추정하는 대신, 맞춤형 기준 분포에 대한 엔트로피 추정을 수행한다.
• 이 방법은 신경망을 사용하여 결합 분포와 기준 분포 간의 KL 발산을 추정함으로써 엔트로피 추정을 가능하게 한다.
• 저밀도 영역에서 그래디언트 크기를 증가시켜 최적화 동역학을 향상시키기 위해 균일한 기준 분포를 선택한다.
• 상호정보량은 결합 엔트로피와 개별 근사 엔트로피의 차이로 계산되며, 근사 엔트로피는 별도로 추정된다.
• 과적합을 줄이고 안정성을 향상시키기 위해 기준 샘플 크기를 데이터 크기의 최대 300배로 늘린다.
• 추정치를 부드럽게 하기 위해 이동 평균을 적용하고, 검증 모니터링을 통해 과적합을 방지하기 위해 조기 종료를 실시한다.

실험 결과

연구 질문

• RQ1 맞춤형 기준 분포를 통한 엔트로피 추정이 상호정보량 추정의 수렴 속도를 향상시킬 수 있는가?
• RQ2 MINE의 근사 확률밀도의 곱 기준 분포를 균일한 분포로 대체하면 학습 수렴 속도가 빨라지는가?
• RQ3 MI-NEE는 고차원 및 저상관관계 정규 모델에서 MINE에 비해 어떻게 성능을 발휘하는가?
• RQ4 MI-NEE는 MINE에서 관찰되는 계단식 수렴 패턴을 피할 수 있는가? 이는 조기 종료를 잘못 해석할 위험을 증가시킨다.
• RQ5 기준 분포 선택이 그래디언트 크기와 최적화 효율성에 어떤 영향을 미치는가?

주요 결과

• 이중 혼합 정규 모델(MG(0.9))에서 MI-NEE는 약 20,000회 반복 내에 참값의 10% 이내로 수렴하지만, MINE는 거의 70,000회 반복이 필요하다.
• 고차원 정규 모델(HG(0.9,6))에서 MI-NEE는 약 6,000회 반복 내에 수렴하지만, MINE는 25,000회 반복 내에 수렴하지 못한다.
• MINE는 두 개의 명확한 점프가 있는 문제적 계단식 수렴 패턴을 보이며, 이는 수렴을 잘못 해석해 조기 종료의 위험을 증가시킨다.
• 더 큰 기준 샘플 크기를 사용하더라도 MI-NEE는 더 빠른 수렴을 보이며, 기준 샘플 수를 늘리거나 검증 기반 조기 종료를 사용함으로써 과적합을 완화할 수 있다.
• 균일한 기준 분포 사용은 저밀도 영역에서 그래디언트 신호를 증가시켜 MINE의 근사 확률밀도의 곱 기준 분포보다 더 안정적이고 빠른 최적화를 이끈다.
• 이 방법은 다양한 상관관계 수준과 차원에서 강건하며, 저차원 및 고차원 설정 모두에서 MINE에 비해 일관된 성능 향상을 보였다.