[논문 리뷰] On Mutual Information Maximization for Representation Learning

Michael Tschannen, Josip Djolonga외 3명|arXiv (Cornell University)|2019. 07. 31.

Domain Adaptation and Few-Shot Learning참고 문헌 49인용 수 219

한 줄 요약

논문은 비지도 표현 학습의 유일한 목표로서 MI 최대화를 의문시하며, 추정기와 아키텍처 편향이 학습된 표현의 주된 원인임을 보여주고 아이디어를 딥 메트릭 학습과 연결한다.

ABSTRACT

Many recent methods for unsupervised or self-supervised representation learning train feature extractors by maximizing an estimate of the mutual information (MI) between different views of the data. This comes with several immediate problems: For example, MI is notoriously hard to estimate, and using it as an objective for representation learning may lead to highly entangled representations due to its invariance under arbitrary invertible transformations. Nevertheless, these methods have been repeatedly shown to excel in practice. In this paper we argue, and provide empirical evidence, that the success of these methods cannot be attributed to the properties of MI alone, and that they strongly depend on the inductive bias in both the choice of feature extractor architectures and the parametrization of the employed MI estimators. Finally, we establish a connection to deep metric learning and argue that this interpretation may be a plausible explanation for the success of the recently introduced methods.

연구 동기 및 목표

• 정보 이론적 목표를 통해 비지도 표현 학습을 동기 부여하고 상호 정보(MI)의 역할을 평가한다.
• MI 경계 최대화가 인코더를 원치 않는 표현으로 편향시킬 수 있음을 보인다.
• 추정기 선택과 인코더 아키텍처가 다운스트림 성능에 강하게 영향을 미친다.
• MI 기반 방법을 딥 메트릭 학습과 트리플(triplet) 손실과 연결하여 대안 해석을 제공한다.

제안 방법

• 데이터의 두 보기에 대해 MI 하한 bound를 최대화하는 것을 표현 학습으로 형식화하고 InfoNCE와 NWJ와 같은 추정기를 사용한다.
• 가역(invertible) 및 비가역(non-invertible) 인코더로 실험하여 MI 최대화가 다운스트림 작업에 어떤 영향을 미치는지 관찰한다.
• 비평가(critic) 아키텍처를 다양화한다 (bilinear, separable, MLP)하여 학습된 표현에 미치는 영향을 연구한다.
• MI 경계를 맞추면서 인코더 아키텍처(MLP 대 ConvNet)를 비교하여 아키텍처 효과를 고립시킨다.
• InfoNCE 및 NWJ에서 음수 샘플링의 역할과 그것이 MI 추정 및 성능에 미치는 영향을 분석한다.
• MI 기반 목표를 트리플 기반 메트릭 학습 손실과 연결하여 결과를 재해석한다.

실험 결과

연구 질문

• RQ1 공통 추정기를 통해 MI를 최대화하는 것이 다운스트림 작업에 유용한 표현을 신뢰성 있게 산출하는가?
• RQ2 인코더 아키텍처와 추정기 선택은 학습된 표현에 어떤 편향을 주는가?
• RQ3 MI 기반 표현 학습에서 크리틱 아키텍처와 음수 샘플링의 역할은 무엇인가?
• RQ4 MI 기반 방법의 관측된 성공은 딥 메트릭 학습 원칙으로 더 잘 설명될 수 있는가?
• RQ5 어떤 조건에서 더 느슨한 MI 경계가 더 나은 표현을 산출하는가?

주요 결과

• MI 최대화가 좋은 표현을 보장하지 않으며, MI를 최대화하는 일부 가역 인코더가 원시 픽셀보다 다운스트림 성능이 낮다.
• InfoNCE 및 NWJ와 같은 추정기가 인코더를 역전이 어렵거나 조건이 좋지 않은 매핑으로 편향시키며 표현에 영향을 준다.
• 더 높은 용량의 크리틱은 MI 경계를 조밀하게 만들 수 있지만 다운스트림 성능을 해칠 수 있는 반면, 더 단순한 크리틱(bilinear/separable)은 이를 향상시킬 수 있다.
• 동일한 MI 경계를 달성할 때 인코더 아키텍처가 특정 MI 추정기보다 더 큰 영향을 미치는 경우가 많다.
• 트리플 손실을 통한 메트릭 학습 관점은 경험적 성공에 대한 대안 설명을 제공하며 MI를 최우선 목표로 보는 관점에 의문을 제기한다.