[논문 리뷰] Towards Conceptual Compression

Karol Gregor, Frederic Besse외 3명|arXiv (Cornell University)|2016. 04. 29.

Generative Adversarial Networks and Image Synthesis인용 수 105

한 줄 요약

논문은 convolutional DRAW를 소개합니다. 이는 state-of-the-art 이미지 모델링을 달성하는 순환 변분 오토인코더이며, 글로벌 개념에서 세부 정보까지를 구분하는 계층적 잠재 표현을 제공하고, 고수준 잠재변수만 저장함으로써 고품질의 개념적 손실 압축을 가능하게 합니다.

ABSTRACT

We introduce a simple recurrent variational auto-encoder architecture that significantly improves image modeling. The system represents the state-of-the-art in latent variable models for both the ImageNet and Omniglot datasets. We show that it naturally separates global conceptual information from lower level details, thus addressing one of the fundamentally desired properties of unsupervised learning. Furthermore, the possibility of restricting ourselves to storing only global information about an image allows us to achieve high quality 'conceptual compression'.

연구 동기 및 목표

• 간단한 순환 변분 오토인코더가 이미지 데이터셋(Omniglot, ImageNet, CIFAR-10)에서 이전의 잠재 변수 모델보다 성능을 능가할 수 있음을 보여준다.
• 다중 계층의 계층적 확률적 층이 자연스럽게 글로벌 개념과 하위 수준의 세부 정보를 구분한다는 것을 보인다.
• 고수준 잠재 변수만 저장하고 나머지를 생성하는 개념적 압축의 개념을 제안하고 평가한다.

제안 방법

• 인코더와 디코더 모두에 합성곱 LSTM 구성요소를 갖춘 순환 VAE인 convolutional DRAW를 제안한다.
• 상위 층이 하위 층의 사전분포에 영향을 주고 생성에 대한 대략적 가이드를 제공하는 다층 스택형 잠재 변수 구조를 사용한다.
• 가우시안 근사 사후 분포 q와 가우시안 사전 분포 p로 잠재 변수를 모델링하며, KL 발산이 정보 흐름(L^z_t)을 구동한다.
• 변분 목적함수의 확률적 경사 기반 최적화로 학습하고 압축을 위한 산술 코딩 고려사항을 적용한다.
• 고수준 구조와 미세 세부 정보 사이의 강조를 제어하기 위한 입력-비용 스케일링(beta 매개변수)를 조사한다.

실험 결과

연구 질문

• RQ1 순환적이고 합성곱 형태의 VAE가 Omniglot, CIFAR-10, 그리고 ImageNet 데이터셋에서 최첨단 가능도(likelihood)를 달성할 수 있는가?
• RQ2 다중 확률적 층을 쌓는 것이 개념적 압축에 적합한 의미 있는 글로벌-에서 디테일로의 정보 계층을 형성하는가?
• RQ3 고수준 잠재 변수만으로 고품질의 손실압축을 지원할 수 있는가, 그리고 beta 스케일링이 생성된 이미지 품질에 어떤 영향을 미치는가?
• RQ4 추론 중 계층/시간 단계 간 정보 분포가 어떻게 진화하는가(어떤 레벨이 초기 정보를 포착하고 어떤 레벨이 후기 정보를 포착하는가)?

주요 결과

• Convolutional DRAW는 Omniglot 및 ImageNet 벤치마크에서 이전의 잠재 변수 모델들보다 더 우수한 가능도를 달성하여, 초기 VAE/DRAW 변형들을 능가한다.
• 모델은 글로벌 개념 정보를 저수준 세부 정보로부터 자연스럽게 분리하는 것을 학습하여, 상위 수준의 잠재 변수를 저장하고 나중에 세부 정보를 생성함으로써 개념적 압축을 가능하게 한다.
• 상위 층에서 정보가 초기 시점에 집중되고 하위 층은 나중에 정보를 축적하며, 글로벌에서 디테일로의 생성 과정을 뒷받침한다.
• 입력-비용 스케일(beta)을 조정하면 미세 세부 정보에서 더 넓은 구조로 초점이 이동하여, 낮은 beta 값에서 더 깔끔한 고수준 표현을 생성한다.
• 더 큰 반복 깊이에서, 데이터 한 번 통과당 학습 속도가 개선될 수 있고 최종 성능이 얕은 구성보다 더 나아질 수 있다.