[논문 리뷰] MINE: Mutual Information Neural Estimation

Mohamed Ishmael Belghazi, Aristide Baratin외 5명|arXiv (Cornell University)|2018. 01. 12.

Adversarial Robustness in Machine Learning인용 수 305

한 줄 요약

이중 KL-발산 표현을 사용하는 상호정보(MI)의 신경망 추정기(MINE)를 도입하여 고차원에서도 확장 가능하고 역전파로 학습 가능하며, GANs, ALI, 및 정보 병목 현상에 응용합니다.

ABSTRACT

We argue that the estimation of mutual information between high dimensional continuous random variables can be achieved by gradient descent over neural networks. We present a Mutual Information Neural Estimator (MINE) that is linearly scalable in dimensionality as well as in sample size, trainable through back-prop, and strongly consistent. We present a handful of applications on which MINE can be used to minimize or maximize mutual information. We apply MINE to improve adversarially trained generative models. We also use MINE to implement Information Bottleneck, applying it to supervised classification; our results demonstrate substantial improvement in flexibility and performance in these settings.

연구 동기 및 목표

• 고차원 연속 변수의 상호정보 추정 문제에 동기 부여 및 해결책 제시.
• DV와 f-발산의 이중 표현에 기초한 신경망 추정기(MINE) 제안.
• MINE의 강한 일관성과 우수한 표본 복잡도 입증.
• GAN의 모드 붕괴 완화, ALI 재구성 향상, 연속 정보 병목 방법의 적용 가능성 제시.

제안 방법

• KL-발산의 이중 함수로 작용하는 X와 Z에 대한 신경망 T_theta를 정의합니다.
• I(X;Z) ≥ E_{P_XZ}[T_theta] − log E_{P_X ⊗ P_Z}[e^{T_theta}] bound를 사용합니다.
• 소표본(P_{XZ}) 및 P_X ⊗ P_Z에서의 theta 최적화를 통해 I(X;Z)을 추정합니다.
• 분모의 SGD 그래디언트 바이어스 문제를 이동평균 바이어스 보정으로 해결합니다.
• MINE(및 MINE-f)를 추정기로 제안하고 바이어스 보정 및 실무적 학습 세부 정보를 논의합니다.
• 강한 일관성(근사 정리 및 추정 정리) 및 샘플 복잡도 한계를 제공하는 이론적 결과를 제시합니다.

실험 결과

연구 질문

• RQ1 신경망 기반 이중 표현이 고차원 변수 간의 상호정보를 정확하게 추정할 수 있는가?
• RQ2 MINE가 강한 일관성을 가지며 샘플 복잡도는 무엇인가?
• RQ3 GAN, ALI, IB와 같은 실제 학습 설정에서 MINE을 이용해 상호정보를 최대화하거나 최소화하는 것이 효과적인가?

주요 결과

모델	재구성 오류	재구성 정확도(%)	MS-SSIM
MNIST ALI	14.24	45.95	0.97
MNIST ALICE(l2)	3.20	99.03	0.97
MNIST ALICE(Adv.)	5.20	98.17	0.98
MNIST MINE	9.73	96.10	0.99
CelebA ALI	53.75	57.49	0.81
CelebA ALICE(l2)	8.01	32.22	0.93
CelebA ALICE(Adv.)	92.56	48.95	0.51
CelebA MINE	36.11	76.08	0.99

• MINE은 강한 일관성을 가지며 충분한 네트워크 용량과 샘플이 주어지면 I(X;Z)를 임의로 잘 근사할 수 있습니다.
• 경험적 결과는 저차원에서 MINE이 기저 MI와 밀접하게 일치하고 고차원에서 비모수적 k-NN보다 우수하다는 것을 보여줍니다.
• MINE으로 상호정보를 최대화하면 GAN의 모드 커버리지와 ALI 재구성 개선에 기여하고 모드 붕괴를 줄이는 데 도움이 됩니다.
• 연속 정보 병목 구현을 가능하게 하며 여러 설정에서 분산 변형 병목 기준선보다 우수한 성능을 보입니다.
• Stacked MNIST에서 MINE은 데이터 분포에 대한 의미 있는 KL 발산과 함께 전체 모드 커버리지를 달성합니다.
• 순열 불변 MNIST에 대한 MINE 기반 IB 실험은 기준선에 비해 오탐률이 우수합니다.