[논문 리뷰] DEMI: Discriminative Estimator of Mutual Information

Ruizhi Liao, Daniel Moyer외 2명|arXiv (Cornell University)|2020. 10. 05.

Domain Adaptation and Few-Shot Learning참고 문헌 29인용 수 6

한 줄 요약

DEMI는 상관관계 있는 데이터 쌍(공통 분포 p(x,y))과 비상관 데이터 쌍(각각의 주변분포의 곱 p(x)p(y))를 구분하는 분류기를 학습시켜 상호정보량(MI)을 추정하는 비모수적 신경 추정기이다. 이 분류기의 출력에서 유도된 로그 오즈(log odds)를 활용함으로써, 변분 경계나 분할 함수 추정에 의존하지 않으면서도 통계적으로 안정적이고 변동성이 낮은 MI 추정을 제공한다. 이는 고MI 또는 저MI 환경에서 기존의 변분 방법보다 뛰어난 성능을 보이며, 특히 고MI나 저MI 영역에서 뛰어난 성능을 발휘한다.

ABSTRACT

Estimating mutual information between continuous random variables is often intractable and extremely challenging for high-dimensional data. Recent progress has leveraged neural networks to optimize variational lower bounds on mutual information. Although showing promise for this difficult problem, the variational methods have been theoretically and empirically proven to have serious statistical limitations: 1) many methods struggle to produce accurate estimates when the underlying mutual information is either low or high; 2) the resulting estimators may suffer from high variance. Our approach is based on training a classifier that provides the probability that a data sample pair is drawn from the joint distribution rather than from the product of its marginal distributions. Moreover, we establish a direct connection between mutual information and the average log odds estimate produced by the classifier on a test set, leading to a simple and accurate estimator of mutual information. We show theoretically that our method and other variational approaches are equivalent when they achieve their optimum, while our method sidesteps the variational bound. Empirical results demonstrate high accuracy of our approach and the advantages of our estimator in the context of representation learning. Our demo is available at https://github.com/RayRuizhiLiao/demi_mi_estimator.

연구 동기 및 목표

• 기존의 변분 MI 추정기의 통계적 한계를 해결하되, 고MI 또는 저MI 상황에서 성능이 떨어지고 분산이 크다는 문제를 해결한다.
• 변분 하한이 O(log N)로 제한되는 이론적 장벽을 극복하여, MI가 클 경우 정확한 추정이 불가능한 문제를 해결한다.
• 복잡한 밀도 함수나 분할 함수 추정을 피함으로써, 분류 기반 접근에서 발생하는 높은 분산 문제를 해결한다.
• 공통분포 대 주변분포 분류 작업에서의 분류기 성능과 상호정보량 추정 간의 직접적인 연결 고리를 확립한다.
• 현대의 고차원 표현 학습 과제에 적합한 단순하고 확장 가능하며 정확한 MI 추정기 개발

제안 방법

• 공통분포 p(x,y)에서 추출된 쌍(연결된) 데이터와 주변분포의 곱 p(x)p(y)에서 추출된 비연결 데이터를 구분하는 이진 분류기 학습
• 랜덤 셔플링 또는 재표본 추출을 통한 데이터 증강 기법을 활용해 동일한 데이터셋에서 비연결 샘플을 생성함으로써 주변 통계를 유지
• 테스트 세트에서 분류기의 예측에 대한 평균 로그 오즈를 이용해 상호정보량을 추정함. 이는 로그 오즈와 MI 간의 이론적 연결 고리를 기반으로 함
• 밀도 추정을 피하기 위해 공통분포와 주변분포의 곱 간의 우도 비율을 직접 모델링함으로써 변분 경계를 회피함
• 분류기 출력에 온도 스케일링(α)을 적용하여 校정(calibration)을 향상시키고 분산을 감소시킴. 실험 결과 α=0.5에서 최적 성능 기록
• 분류기로 깊은 신경망을 활용함으로써 현대 딥러닝의 표현력과 안정성을 분류 과제에 유리하게 활용

실험 결과

연구 질문

• RQ1 공통분포 대 주변분포를 구분하는 분류기를 학습시켜 상호정보량을 추정하는 방법이 기존의 변분 방법보다 더 정확하고 안정적인가?
• RQ2 제안된 방법이 고MI 추정에서 변분 하한의 O(log N) 이론적 한계를 극복할 수 있는가?
• RQ3 DEMI의 성능은 MINE 및 CCMI와 같은 최신 추정기들과 비교해 저MI에서부터 고MI에 이르기까지 다양한 수준의 상호정보량에서 어떻게 나타나는가?
• RQ4 분류기 출력의 로그 오즈를 변분 근사 없이 직접 상호정보량 추정에 활용할 수 있는가?
• RQ5 이 방법은 다양한 데이터 분포와 고차원 설정에서도 낮은 분산과 높은 정확도를 유지하는가?

주요 결과

• DEMI는 모든 수준의 상호정보량에서 MINE 및 CCMI보다 유의미하게 낮은 추정 오차를 기록하며, 특히 MINE가 실패하는 고MI 영역에서 뛰어난 성능을 보인다.
• MI = 80일 때, DEMI(α=0.5)는 66.7 ± 1.5로 추정하고, MINE는 59.1 ± 0.7, CCMI는 63.8 ± 0.8로 추정하여 고MI에서 뛰어난 정확도를 입증한다.
• 저MI 상황(예: MI = 0.1)에서도 DEMI(α=0.5)는 2.0 ± 0.3으로 추정하며, MINE(2.0 ± 0.3) 및 CCMI(2.0 ± 0.3)와 동등하거나 뛰어난 성능을 보여 전체 범위에서의 안정성을 입증한다.
• DEMI는 모든 MI 수준에서 낮은 분산을 유지하며, 표준편차가 항상 2.0 이하로 유지되며, 반면 MINE는 고MI 영역에서 높은 분산(예: MI=60일 때 1.0)을 보인다.
• 합성 및 실제 이미지 데이터셋 모두에서 최첨단 성능을 기록하며, 표현 학습 벤치마크에서 일관된 성능 향상을 보였다.
• 이론적 분석을 통해 DEMI와 변분 방법은 최적 상태에서 동일한 결과를 도출하지만, DEMI는 변분 경계를 완전히 회피함으로써 더 신뢰할 수 있는 추정이 가능하다고 확인했다.