[논문 리뷰] CLUB: A Contrastive Log-ratio Upper Bound of Mutual Information

Pengyu Cheng, Weituo Hao외 4명|arXiv (Cornell University)|2020. 06. 22.

Face and Expression Recognition인용 수 59

한 줄 요약

CLUB는 상호 정보에 대한 대조 로그-비율 상한과 불확실한 조건에 대한 가변적 형태를 도입하여 MI 최소화를 가능하게 하고 정보 병목 및 도메인 적응 과제에서의 개선을 가능하게 한다.

ABSTRACT

Mutual information (MI) minimization has gained considerable interests in various machine learning tasks. However, estimating and minimizing MI in high-dimensional spaces remains a challenging problem, especially when only samples, rather than distribution forms, are accessible. Previous works mainly focus on MI lower bound approximation, which is not applicable to MI minimization problems. In this paper, we propose a novel Contrastive Log-ratio Upper Bound (CLUB) of mutual information. We provide a theoretical analysis of the properties of CLUB and its variational approximation. Based on this upper bound, we introduce a MI minimization training scheme and further accelerate it with a negative sampling strategy. Simulation studies on Gaussian distributions show the reliable estimation ability of CLUB. Real-world MI minimization experiments, including domain adaptation and information bottleneck, demonstrate the effectiveness of the proposed method. The code is at https://github.com/Linear95/CLUB.

연구 동기 및 목표

• 분포를 알 수 없거나 계산이 어려운 고차원 설정에서 MI 최소화를 촉진한다.
• 미분 가능하고 그래디언트 기반 방법으로 학습 가능한 새로운 MI 상한 추정기를 제공한다.
• p(y|x)가 알려지지 않은 경우를 위한 가변적 확장(vCLUB)을 개발하고 이의 이론적 성질을 보인다.
• CLUB/vCLUB를 기반으로 한 MI 최소화 알고리즘을 가능하게 하고 음수 샘플링을 통한 가속을 제공한다.
• 정보 병목 및 UD A와 같은 실제 과제를 통해 CLUB의 효과를 시뮬레이션과 실험을 통해 입증한다.

제안 방법

• 양성/음성 쌍 간의 조건부 확률의 대조 로그-비율을 이용한 MI 상한으로 CLUB를 정의한다.
• CLUB가 I(X;Y)의 상한임을 보이고 log p(y|x)에 기초한 불편향 추정기 hat{I}_CLUB를 도출한다.
• 가변 네트워크 q_{θ}(y|x)로 p(y|x)를 근사하여 vCLUB를 도입하고 그 성질을 도출한다.
• 변동 네트워크와 결합 분포 p_{σ}(x,y)를 교대로 업데이트하는 MI 최소화 알고리즘을 제안한다.
• 음수 샘플링 전략으로 계산을 가속하여 N에 대해 선형 시간 복잡도를 갖는 샘플링된 vCLUB(vCLUB-S)를 얻는다.
• p(y|x)가 알려져 있거나 알려지지 않은 경우 CLUB에 대한 선택적 샘플링을 제공한다.

실험 결과

연구 질문

• RQ1 CLUB가 MI 최소화를 지지하는 신뢰할 수 있고 학습 가능한 상한을 제공할 수 있는가?
• RQ2 p(y|x)가 알려지지 않은 경우 q_{θ}(y|x)가 이를 잘 근사할 때 vCLUB 가변 확장은 어떻게 동작하는가?
• RQ3 추정 및 최소화 작업에서 기존 MI 추정기들과 비교하여 CLUB/vCLUB가 바이어스-분산 트레이드오프 측면에서 우수한가?
• RQ4 정보 병목 및 관련 도메인 적응 작업에서 CLUB 기반 MI 최소화가 표현 학습을 향상시킬 수 있는가?
• RQ5 음수 샘플링(vCLUB-S)이 불편향성을 유지하고 효율성과 일반화성을 향상시키는가?

주요 결과

• CLUB는 토이 데이터에서 기준 상한 및 하한과 비교하여 편향을 낮추고 MSE를 경쟁력 있게 달성한다.
• 가변 근사 q_{θ}(y|x)가 p(y|x)에 근접하게 일치할 때 vCLUB 상한은 여전히 상한 또는 신뢰할 수 있는 추정기가 된다.
• 정보 병목(BI) 및 UD A 실험은 CLUB 기반 MI 최소화가 이전 상한 대비 다운스트림 성능과 표현 품질을 향상시킨다.
• 음수 샘플링(vCLUB-S)은 추정기의 편향되지 않음을 유지하면서 각 반복마다 계산 비용을 O(N)으로 감소시킨다.
• 정보 병목 설정에서 CLUB와 그 샘플링 변형은 경쟁력 있는 오분류율을 달성하고, 종종 학습 안정성에서 하한 추정기와 L1-out을 능가한다.
• 샘플링 기반 CLUB 변형은 추정 정확도를 희생하지 않으면서 일반화 및 학습 효율성을 향상시킬 수 있다.