[논문 리뷰] Recent Advances in Autoencoder-Based Representation Learning

Michael Tschannen, Olivier Bachem외 1명|arXiv (Cornell University)|2018. 12. 12.

Domain Adaptation and Few-Shot Learning참고 문헌 78인용 수 359

한 줄 요약

자동인코더 기반 표현 학습에 대한 심도 있는 고찰로, 메타-프라이어를 강화하는 세 가지 주요 메커니즘(포스터리어의 규제, 인코딩/디코딩의 분해, 구조화된 사전)과 이들이 감독 및 rate-distortion 트레이드오프와 어떻게 관련되는지 자세히 설명한다.

ABSTRACT

Learning useful representations with little or no supervision is a key challenge in artificial intelligence. We provide an in-depth review of recent advances in representation learning with a focus on autoencoder-based models. To organize these results we make use of meta-priors believed useful for downstream tasks, such as disentanglement and hierarchical organization of features. In particular, we uncover three main mechanisms to enforce such properties, namely (i) regularizing the (approximate or aggregate) posterior distribution, (ii) factorizing the encoding and decoding distribution, or (iii) introducing a structured prior distribution. While there are some promising results, implicit or explicit supervision remains a key enabler and all current methods use strong inductive biases and modeling assumptions. Finally, we provide an analysis of autoencoder-based representation learning through the lens of rate-distortion theory and identify a clear tradeoff between the amount of prior knowledge available about the downstream tasks, and how useful the representation is for this task.

연구 동기 및 목표

• 표현 학습을 안내하는 메타-프라이어와 autoencoder 기반 모델이 이를 어떻게 강제하는지 요약한다.
• 세 가지 주요 메커니즘에 따라 방법을 분류한다: posterior regularization, distribution factorization, 및 structured priors.
• 이 방법들을 감독 수준 및 실용적 모델링 편향과 연결한다.
• 비지도 표현의 트레이드오프를 이해하기 위한 rate-distortion 관점을 제시한다.

제안 방법

• Variational autoencoder (VAE) 프레임워크와 ELBO 목적 함수를 정의한다.
• 메커니즘을 (i) 인코딩/aggregate posterior의 규제화; (ii) 인코딩/디코딩 분포의 분해; (iii) 유연한 priors의 사용으로 분류한다.
• q_phi(z|x) 및 q_phi(z)에서 사용되는 규제항(예: TC, MMD, HSIC)과 그 추정법(density-ratio trick, MMD)을 설명한다.
• 구조화된 인코딩/디코딩 분포(결정론적 대 확률적, 계층적 인코딩)를 논의한다.
• 구조화된 priors(혼합, 계층적 priors)와 이것들이 군집화나 해제에 어떻게 기여하는지 설명한다.
• 감독 vs 비감독 설정을 대비하고 정보 병목 관점과 rate-distortion 프레이밍을 설명한다.

실험 결과

연구 질문

• RQ1 자동인코더 기반 표현에서 해제(disentanglement), 계층화, 군집화를 강제하는 데 가장 효과적인 메커니즘은 무엇인가요?
• RQ2 포스터리어 규제화, 분포 분해, 그리고 priors가 Bengio 등 제안한 메타-프라이어와 어떤 관련이 있나요?
• RQ3 다운스트림 작업을 위한 유용한 표현을 얻는 데 감독의 역할은 무엇인가요?
• RQ4 rate-distortion 이론은 사전 지식과 학습 표현의 유용성 간의 tradeoff를 어떻게 밝히나요?

주요 결과

• 메타-프라이어를 강제하기 위한 세 가지 핵심 메커니즘으로: 포스터리어 규제화, 인코딩/디코딩 분포의 구조화, 그리고 유연한 priors를 식별한다.
• TC, MMD, HSIC 및 정보 병목 영감 항과 같은 규제항이 해제와 독립성을 촉진하는 데 도움을 준다.
• 구조화된 인코딩(계층적 또는 그룹화된 잠재변수)은 변화 요인의 계층적 또는 군집화된 특성을 모델링하는 데 도움을 준다.
• 감독 학습과 암시적 감독은 여전히 핵심적인 촉진자이며, 강한 귀납적 바이어스가 학습된 표현을 형성한다.
• rate-distortion 관점은 다운스트림 작업에 대한 사전 지식의 양과 학습 표현의 유용성 간의 trade-off를 드러낸다.