[논문 리뷰] InfoNCE is a variational autoencoder.

Laurence Aitchison|arXiv (Cornell University)|2021. 07. 06.

Domain Adaptation and Few-Shot Learning참고 문헌 30인용 수 8

한 줄 요약

이 논문은 널리 사용되는 자기지도 학습 방법인 InfoNCE가 자기지도 변분 오토에인도어(SSVAE)의 특수한 경우임을 수학적으로 보여준다. SSVAE는 전통적인 데이터 복원을 암시적 디코더로 대체하는 새로운 프레임워크이다. SSVAE는 특정 사전 분포 하에서 목적 함수가 상호정보량 추정과 동일함을 보여줌으로써 InfoNCE의 이론적 기반을 제공하며, 표현 학습에서 단순화된 매개변수형 상호정보량 추정기의 사용을 정당화한다.

ABSTRACT

We show that a popular self-supervised learning method, InfoNCE, is a special case of a new family of unsupervised learning methods, the self-supervised variational autoencoder (SSVAE). SSVAEs circumvent the usual VAE requirement to reconstruct the data by using a carefully chosen implicit decoder. The InfoNCE objective was motivated as a simplified parametric mutual information estimator. Under one choice of prior, the SSVAE objective (i.e. the ELBO) is exactly equal to the mutual information (up to constants). Under an alternative choice of prior, the SSVAE objective is exactly equal to the simplified parametric mutual information estimator used in InfoNCE (up to constants). Importantly, the use of simplified parametric mutual information estimators is believed to be critical to obtain good high-level representations, and the SSVAE framework naturally provides a principled justification for using prior information to choose these estimators.

연구 동기 및 목표

• 대조적 자기지도 학습 방법인 InfoNCE를 더 넓은 변분 추론 프레임워크로 통합하기 위해.
• 기존 VAE가 명시적 데이터 복원이 필요로 하는 한계를 해결하기 위해 암시적 디코더를 도입하기 위해.
• 자기지도 표현 학습에서 단순화된 매개변수형 상호정보량 추정기의 사용에 대한 이론적 정당성을 제공하기 위해.
• 특정 사전 분포 선택 하에서 InfoNCE 목적 함수가 SSVAE 프레임워크에서 자연스럽게 유도됨을 보여주기 위해.

제안 방법

• 명시적 데이터 복원이 필요 없는 새로운 비지도 학습 방법의 가족인 자기지도 변분 오토에인도어(SSVAE)를 도입하기 위해.
• SSVAE 목적 함수를 증거 하한 경계(ELBO)로 정의하며, 이는 신중히 선택된 암시적 디코더를 사용해 유도된다.
• 특정 사전 분포를 사용할 경우, SSVAE ELBO가 상수를 제외하고 정확히 상호정보량과 동일하다는 것을 보여주기 위해.
• 다른 사전 분포 선택 하에서 SSVAE 목적 함수가 InfoNCE에서 사용하는 단순화된 매개변수형 상호정보량 추정기와 동일하다는 것을 보여주기 위해.
• 사전 정보를 활용해 대비 학습에서 상호정보량 추정기의 설계를 정당화하기 위해.
• SSVAE 프레임워크를 통해 대비 학습과 변분 추론 사이에 공식적인 연결 고리를 구축하기 위해.

실험 결과

연구 질문

• RQ1 InfoNCE는 더 넓은 변분 추론 프레임워크의 특수한 경우로 공식적으로 유도될 수 있는가?
• RQ2 자기지도 변분 오토에인도어(SSVAE)는 VAE에서 명시적 데이터 복원이 필요 없도록 어떻게 작동하는가?
• RQ3 상호정보량 추정과 SSVAE 목적 함수 사이의 이론적 관계는 무엇인가?
• RQ4 왜 단순화된 매개변수형 상호정보량 추정기는 자기지도 학습에서 효과적인가? 이는 이론적으로 타당한 프레임워크 내에서 정당화될 수 있는가?
• RQ5 SSVAE 프레임워크에서 다양한 사전 분포 선택은 어떤 목적 함수로 이어지며, 이는 InfoNCE 목적 함수를 포함하는가?

주요 결과

• 특정 사전 분포를 사용할 경우, SSVAE 목적 함수는 상수를 제외하고 정확히 상호정보량과 동일하다. 이는 상호정보량과 변분 추론 사이에 직접적인 이론적 연결 고리를 확립한다.
• 다른 사전 분포 선택 하에서 SSVAE 목적 함수는 상수를 제외하고 정확히 InfoNCE 목적 함수와 동일하다. 이는 InfoNCE가 SSVAE의 특수한 경우임을 보여준다.
• SSVAE 프레임워크는 자기지도 학습에서 단순화된 매개변수형 상호정보량 추정기의 사용에 대해 이론적으로 타당한 정당성을 제공한다.
• SSVAE에서 암시적 디코더를 사용함으로써 기존 VAE에서의 명시적 데이터 복원이 필요 없어지며, 이는 표준 VAE의 핵심적 한계를 해결한다.
• 이 프레임워크는 사전 분포 선택이 목적 함수가 상호정보량을 최적화하는지 아니면 그 단순화된 추정기를 최적화하는지 직접적으로 결정한다는 것을 드러낸다.
• 결과적으로 대비 학습(InfoNCE 경유)과 변분 오토에인도어 간의 통합된 이론적 시각을 제공한다.