[논문 리뷰] Representation Learning with Contrastive Predictive Coding

Aäron van den Oord, Yazhe Li외 1명|arXiv (Cornell University)|2018. 07. 10.

Multimodal Machine Learning Applications인용 수 4,505

한 줄 요약

CPC는 대조적 손실로 미래 잠재 코드들을 예측하여 비지도 표현을 학습하며, 라벨 없이 음성, 이미지, 텍스트, 강화학습 전반에서 강력한 성과를 달성한다.

ABSTRACT

While supervised learning has enabled great progress in many applications, unsupervised learning has not seen such widespread adoption, and remains an important and challenging endeavor for artificial intelligence. In this work, we propose a universal unsupervised learning approach to extract useful representations from high-dimensional data, which we call Contrastive Predictive Coding. The key insight of our model is to learn such representations by predicting the future in latent space by using powerful autoregressive models. We use a probabilistic contrastive loss which induces the latent space to capture information that is maximally useful to predict future samples. It also makes the model tractable by using negative sampling. While most prior work has focused on evaluating representations for a particular modality, we demonstrate that our approach is able to learn useful representations achieving strong performance on four distinct domains: speech, images, text and reinforcement learning in 3D environments.

연구 동기 및 목표

• 데이터 효율적이고 강건한 특징으로 가는 경로로서 비지도 표현 학습의 필요성을 제시한다.
• 데이터를 잠재 표현으로 압축하고 잠재 공간에서 미래 단계를 예측하는 보편적 CPC 프레임워크를 제안한다.
• 대조적이고 상호정보량(MI)을 최대화하는 목적이 여러 모달리티에 걸쳐 유용한 특징을 만들어냄을 시연한다.

제안 방법

• 비선형 인코더 g_enc로 입력 시퀀스를 잠재 표현 z_t로 인코딩한다.
• 자기회귀 모델 g_ar로 과거 잠재를 요약하여 컨텍스트 c_t를 생성한다.
• 상대적 밀도비 f_k(x_{t+k}, c_t)를 p(x_{t+k}|c_t)/p(x_{t+k})에 비례하도록 모델링하여 상호정보를 보존한다.
• InfoNCE 손실을 사용하여 학습: L_N = -E log [ f_k(x_{t+k}, c_t) / sum_{x_j in X} f_k(x_j, c_t) ].
• 계산적으로 다루기 쉬운 학습을 가능하게 하기 위한 음의 샘플링을 사용하고 인코더와 자기회귀 모델을 함께 최적화한다.
• 어느 인코더 및 자기회귀 아키텍처도 사용할 수 있으며 다운스트림 작업은 필요에 따라 z_t 또는 c_t를 사용할 수 있다(풀링 필요 시 적용).

실험 결과

연구 질문

• RQ1 단일 비지도 CPC 프레임워크가 음성, 이미지, 텍스트, RL 등 다양한 데이터 모달리티에서 전달 가능한 표현을 학습할 수 있는가?
• RQ2 InfoNCE 손실을 통해 상호정보량을 최대화하면 다중 타임스텝에 걸친 높은 수준의 예측 구조를 포착하는 표현이 생성되는가?
• RQ3 예측하는 미래 단계의 수와 음수 샘플의 선택이 표현 품질에 어떤 영향을 미치는가?
• RQ4 CPC 표현이 강화학습과 같은 다운스트림 작업의 학습 속도나 성능을 향상시키거나 가속화할 수 있는가?

주요 결과

• CPC가 LibriSpeech의 음성/화자 분류에서 강한 선형 분리성을 달성하고 MFCC 특징을 능가하며 감독 학습 성능에 근접했다.
• 비전 분야에서 ResNet-v2-101 인코더를 사용한 CPC가 이미지넷에서 감독 없이 평가했을 때 Top-1 48.7%, Top-5 73.6%를 달성하여 여러 선행 비지도 방법을 능가했다.
• 자연어처리에서 CPC는 BookCorpus의 전이 학습을 이용해 감성 및 분류 벤치마크에서 skip-thought 벡터와 경쟁력을 보였다.
• 강화학습에서 CPC를 보조 손실로 추가하면 DeepMind Lab의 5개 과제 중 4개에서 성능이 향상되었고 한 과제는 효과가 없었으며, 과제 의존적 이점을 시사한다.
• 고찰 연구는 여러 미래 단계를 예측하는 것이 표현을 개선하고 음성 실험에서 음의 샘플링 전략이 다운스트림 성능에 영향을 준다고 보여준다(예: 서로 다른 화자 혼합 vs 같은 화자).