[논문 리뷰] Mutual Information Gradient Estimation for Representation Learning

Liangjian Wen, Yiji Zhou외 3명|arXiv (Cornell University)|2020. 05. 03.

Domain Adaptation and Few-Shot Learning참고 문헌 46인용 수 7

한 줄 요약

이 논문은 고차원 및 고상호정보 설정에서 저분산·고정확도의 상호정보(MI) 기울기 추정을 위한 새로운 방법인 상호정보 기울기 추정기(MIGE)를 제안한다. 점수 기반의 암묵적 분포 추정을 활용함으로써 MIGE는 표현 학습에서 안정적인 학습을 가능하게 하여, 기존의 MI 추정기들에 비해 InfoMax 및 정보 봉쇄 기반 프레임워크에서 성능을 크게 향상시킨다.

ABSTRACT

Mutual Information (MI) plays an important role in representation learning. However, MI is unfortunately intractable in continuous and high-dimensional settings. Recent advances establish tractable and scalable MI estimators to discover useful representation. However, most of the existing methods are not capable of providing an accurate estimation of MI with low-variance when the MI is large. We argue that directly estimating the gradients of MI is more appealing for representation learning than estimating MI in itself. To this end, we propose the Mutual Information Gradient Estimator (MIGE) for representation learning based on the score estimation of implicit distributions. MIGE exhibits a tight and smooth gradient estimation of MI in the high-dimensional and large-MI settings. We expand the applications of MIGE in both unsupervised learning of deep representations based on InfoMax and the Information Bottleneck method. Experimental results have indicated significant performance improvement in learning useful representation.

연구 동기 및 목표

• 상호정보(MI)가 크고 배치 크기가 작은 경우 기존 상호정보(MI) 추정기에서 발생하는 불안정성과 높은 분산 문제를 해결하기 위해.
• 직접 MI를 추정하는 대신 MI 기울기를 직접 추정함으로써 표현 학습을 향상시키기 위해.
• 비정규화된 비용 함수 추정기들인 MINE나 JSD와 같은 기존 방법들에서 흔히 발생하는 고분산 문제를 피하고, 비지도 표현 학습 및 정보 봉쇄 방법에서 안정적이고 정확한 학습을 가능하게 하기 위해.
• DVB와 같은 변분 방법과 달리, 해석 가능한 근사 사후분포가 필요로 하지 않는 방법을 개발하기 위해.
• 비지도 및 지도 표현 학습 과제에서 최신 기술들에 비해 뛰어난 성능을 보여주기 위해.

제안 방법

• MIGE는 암묵적 분포의 점수 기반 추정을 활용하여 상호정보의 기울기를 직접 추정한다.
• 스펙트럼 스틸 기울기 추정기와 임계값이 설정된 RBF 커널을 사용하여 기울기 추정의 안정성을 높인다.
• 해석 가능한 밀도 근사가 필요 없도록 하여 일반적인 분포에 적용 가능하도록 한다.
• 표준 MI 추정기를 기울기 추정으로 대체함으로써 MIGE를 InfoMax 및 정보 봉쇄 목표에 통합한다.
• 기울기 추정을 위해 연속적으로 학습되는 판별자(결합 분포 샘플과 주변 분포의 곱 샘플을 구분)를 사용한다.
• 논문의 식 (8)은 스펙트럼 임계값 메커니즘을 적용한 재파arameterized 점수 함수 추정기를 통한 기울기 추정을 수식으로 기술한다.

실험 결과

연구 질문

• RQ1 직접적인 MI 기울기 추정이 직접 MI 추정보다 더 안정적이고 정확한 표현 학습을 가능하게 할 수 있는가?
• RQ2 기존 추정기들이 실패하는 고차원 및 고상호정보 설정에서 MIGE는 어떻게 성능을 발휘하는가?
• RQ3 MIGE는 DVB와 같은 변분 근사가 필요 없이 InfoMax 및 정보 봉쇄 프레임워크에서 성능 향상을 이룰 수 있는가?
• RQ4 RP 차원 수가 MIGE의 근사 정확도와 계산 비용에 미치는 영향은 어떠한가?
• RQ5 MINE 및 DVB와 비교했을 때 MIGE의 오분류율과 학습 안정성은 어떠한가?

주요 결과

• MIGE-IB는 순열 불변 MNIST에서 오분류율 1.05%를 기록하여 DVB(1.13%) 및 MINE-IB(1.11%)를 모두 능가한다.
• STL-10에서의 분류 정확도는 표현 차원이 128까지 증가하면서 향상되나, 이후 근사 한계로 인해 포화 상태에 도달한다.
• 기존 방법들과 비교해 볼 때, 고차원 및 고상호정보 영역에서 MIGE는 더 날렵하고 안정적인 기울기 추정을 제공한다.
• 비정규화된 비용 함수 추정기들인 MINE 및 JSD에서 흔히 발생하는 고분산 문제 없이 안정적인 학습을 보였다.
• 제거 분석 결과, RP 차원을 128 이상으로 늘일 경우 수익 감소와 함께 계산 비용 증가가 발생함을 확인하였다.
• 신뢰할 수 있는 MI 최적화를 위한 기울기 신호를 제공함으로써, MIGE는 비지도 및 지도 표현 학습에서 최신 기술 수준의 성능을 달성하였다.