[논문 리뷰] Associative Compression Networks for Representation Learning

Alex Graves, Jacob Menick외 1명|arXiv (Cornell University)|2018. 04. 06.

Generative Adversarial Networks and Image Synthesis참고 문헌 31인용 수 16

한 줄 요약

이 논문은 유사한 잠복 코드를 데이터셋에서 조건부로 설정한 사전 분포를 갖는 변분 오토인코더의 변종인 유사성 압축 네트워크(ACNs)를 제안한다. 이는 효율적인 압축과 풍부하고 구조적인 표현을 가능하게 하며, 잠복 공간 내 국소적 의존성을 모델링함으로써 강력한 순차적 디코더를 사용할 때도 정보가 풍부한 코드를 유지한다. MNIST, CIFAR-10, ImageNet, CelebA에서 최고 수준의 비지도 표현 품질을 달성한다.

ABSTRACT

This paper introduces Associative Compression Networks (ACNs), a new framework for variational autoencoding with neural networks. The system differs from existing variational autoencoders (VAEs) in that the prior distribution used to model each code is conditioned on a similar code from the dataset. In compression terms this equates to sequentially transmitting the dataset using an ordering determined by proximity in latent space. Since the prior need only account for local, rather than global variations in the latent space, the coding cost is greatly reduced, leading to rich, informative codes. Crucially, the codes remain informative when powerful, autoregressive decoders are used, which we argue is fundamentally difficult with normal VAEs. Experimental results on MNIST, CIFAR-10, ImageNet and CelebA show that ACNs discover high-level latent features such as object class, writing style, pose and facial expression, which can be used to cluster and classify the data, as well as to generate diverse and convincing samples. We conclude that ACNs are a promising new direction for representation learning: one that steps away from IID modelling, and towards learning a structured description of the dataset as a whole.

연구 동기 및 목표

• 강력한 순차적 디코더를 사용할 경우 표준 VAE가 정보가 풍부한 잠복 코드를 유지하지 못하는 데서 기인하는 실패를 해결한다.
• 변분 오토인코더에서 고수준 개념을 코드화하는 데 드는 비용이 개별 데이터 포인트의 압축 이점보다 높아지는 역설을 해결한다.
• 개별 예제에 대한 주석을 부여하는 대신 전체 데이터셋을 구조적인 잠복 표현으로 조직하는 프레임워크를 개발한다.
• 보조 감독 없이도 군집화, 분류 및 제어 가능한 생성을 지원하는 의미 있는 분리된 표현을 가능하게 한다.
• 잠복 공간 내 국소적이고 데이터셋 전체의 구조를 모델링함으로써 압축 효율성과 표현 품질을 향상시킬 수 있음을 입증한다.

제안 방법

• 잠복 공간 내 거리 기반으로 훈련 세트의 유사한 코드를 기반으로, 잠복 코드의 최근접 이웃에 조건부로 설정된 사전 분포를 도입한다.
• 이중 압축 프레임워크를 사용한다: 먼저 유사한 코드를 기반으로 조건부 사전를 사용해 코드를 전송하고, 나서 잔차를 순차적 디코더를 통해 전송한다.
• 기대 기술 길이( KL 발산 + 재구성 손실)를 최소화하는 변분 추론 목표를 사용해 모델을 종단 간(end-to-end)으로 훈련한다.
• 국소적 구조를 캡처하기 위해 잠복 공간 내에서 k-최근접 이웃(k-NN) 검색을 적용하여 사전 조건 설정을 위한 유사한 코드를 식별한다.
• 강력한 순차적 디코더(예: 게이트드 PixelCNN)를 사용해 코드에서 데이터를 재구성함으로써 고해상도 재생을 가능하게 한다.
• 구조적 연속성을 유지하는 경로를 따라 잠복 공간을 탐색함으로써 '드림 샘플링(daydream sampling)'을 가능하게 하여 샘플 간의 부드러운 보간을 실현한다.

실험 결과

연구 질문

• RQ1 강력한 순차적 디코더를 사용할 경우, 일반적으로 코드 무시 현상이 발생하는 것으로 알려진 표준 VAE의 실패 모드를 극복하고, 정보가 풍부한 잠복 코드를 유지할 수 있는가?
• RQ2 데이터셋에서 유사한 코드를 기반으로 사전 분포를 조건화하는 것이 표준 VAE에 비해 압축 효율성과 표현 품질을 향상시키는가?
• RQ3 결과적으로 생성된 잠복 코드가 다양한 데이터셋에서 객체 클래스, 자세, 스타일과 같은 고수준의 분리된 요소를 포괄할 수 있는가?
• RQ4 모델이 파라미터 조정 없이도 선형 분류 및 군집화와 같은 후행 작업에 적합한가?
• RQ5 지속적인 잠복 공간 탐색(드림 샘플링)을 통해 다양하고 고품질의 샘플을 생성할 수 있으며, 이때 의미론적 구조를 유지하는가?

주요 결과

• MNIST에서 ACN 코드는 91.2%의 선형 분류 정확도를 달성했으며, 원시 픽셀의 38.4%에 비해 뚜렷하게 높았다.
• CIFAR-10에서 ACN 코드는 55.3%의 상위-1 선형 분류 정확도를 기록했으며, 픽셀의 38.4%에 비해 고수준 특징의 강력한 분리성을 보여주었다.
• ImageNet(32x32)에서 ACN 코드는 상위-1 18.5% 및 상위-5 40.5%의 선형 분류 정확도를 기록했으며, 픽셀의 3.0% 및 9.0%에 비해 훨씬 뛰어났다.
• CelebA에서 ACN 코드는 성별, 표정, 자세와 같은 고수준 속성을 유지했으며, 재구성 결과는 얼굴 특징과 조명을 정확하게 모델링하고 있었다.
• 드림 샘플링은 표정, 자세, 스타일에 걸쳐 부드럽고 연속적인 전환을 보여주었으며, 이는 구조적이고 분리된 잠복 공간 조직을 시사했다.
• ACN 샘플은 기준 모델인 게이트드 PixelCNN에 비해 샘플 품질에서 약간이지만 일관된 향상을 보였으며, 특히 전체 이미지의 일관성과 다양성을 잘 포착했다.