[논문 리뷰] An Architecture for Deep, Hierarchical Generative Models

Philip Bachman|arXiv (Cornell University)|2016. 12. 08.

Generative Adversarial Networks and Image Synthesis인용 수 28

한 줄 요약

이 논문은 상위에서 하위로 생성, 하위에서 상위로 추론, 그리고 병합 모듈을 결합하고 잔차 연결을 사용하는 깊이 있는 계층적 생성 모델인 마트료시카 네트워크(Matryoshka Networks, MatNets)를 소개한다. 이는 10개 이상의 잠재 변수 레이어를 가진 모델의 엔드 투 엔드 학습을 가능하게 한다. 아키텍처는 이미지 모델링 벤치마크에서 최신 기준 성능을 달성하며, 레이어 구조의 의미 있는 분리된 요소를 제로 샷으로 탐지하고, 자연 이미지에서 손상된 영역을 고품질로 복원하는 데에도 뛰어난 성능을 보인다.

ABSTRACT

We present an architecture which lets us train deep, directed generative models with many layers of latent variables. We include deterministic paths between all latent variables and the generated output, and provide a richer set of connections between computations for inference and generation, which enables more effective communication of information throughout the model during training. To improve performance on natural images, we incorporate a lightweight autoregressive model in the reconstruction distribution. These techniques permit end-to-end training of models with 10+ layers of latent variables. Experiments show that our approach achieves state-of-the-art performance on standard image modelling benchmarks, can expose latent class structure in the absence of label information, and can provide convincing imputations of occluded regions in natural images.

연구 동기 및 목표

• 10개 이상의 잠재 변수 레이어를 가진 깊이 있는 방향성 생성 모델의 엔드 투 엔드 학습을 가능하게 하기 위해.
• 모든 잠재 변수에서 출력으로 향하는 결정론적 경로를 도입하여 깊이 있는 생성 모델의 정보 흐름을 향상시키기 위해.
• 라벨이 없는 지도 없이 데이터의 의미 있는 분리된 변동 요소를 탐지할 수 있도록 하기 위해.
• 손상된 영역이 있는 복잡한 실제 자연 이미지에서 고품질의 이미지 복원을 달성하기 위해.
• 잔차 연결과 횡방향 연결을 통해 깊이 있는 계층성과 효과적인 추론 및 생성을 통합하기 위해.

제안 방법

• 모델은 생성을 위한 상향식(TD) 네트워크와 추론을 위한 하향식(BU) 네트워크를 사용하며, TD 및 BU 상태를 병합하여 잠재 변수 샘플을 생성하는 병합 모듈을 포함한다.
• 병합 모듈은 잔차 연결과 합성곱 레이어를 사용하여 재생산 기반 방식을 통해 잠재 변수의 평균과 로그 분산을 계산한다.
• 모든 잠재 변수를 직접 생성 출력에 연결하는 결정론적 스킵 연결을 통해 기울기 흐름을 향상시킨다.
• 재구성 분포 $p(x|z)$ 를 모델링하기 위해 경량의 순차적 모델을 사용하여 이미지 품질을 향상시킨다.
• 최상위 잠재 변수에 혼합 기반 사전 분포를 적용하여 분리된 클래스 구조의 탐지를 장려한다.
• 후행 분포의 엔트로피 페널티를 통해 후행 분포의 구성 요소들이 명확하게 분리되도록 정규화를 적용한다.

실험 결과

연구 질문

• RQ1 10개 이상의 잠재 변수 레이어를 가진 깊이 있는 계층적 생성 모델이 확률적 변분 추론을 사용하여 엔드 투 엔드 학습이 가능한가?
• RQ2 모델은 라벨이 전혀 없는 조건에서도 데이터의 의미 있는 분리된 변동 요소를 탐지할 수 있는가?
• RQ3 손상된 영역이 있는 실제 복잡한 자연 이미지에서 고품질의 이미지 복원이 가능한가?
• RQ4 결정론적 경로와 잔차 연결의 포함이 깊이 있는 생성 모델의 학습과 성능 향상에 어떻게 기여하는가?
• RQ5 모델은 실제 이미지 데이터셋에서 워터마크와 같은 세밀한 세부 사항을 어느 정도 정확하게 재구성할 수 있는가?

주요 결과

• MatNet 아키텍처는 MNIST, Omniglot, CIFAR-10를 포함한 표준 이미지 모델링 벤치마크에서 최신 기준 성능을 달성한다.
• Omniglot에서 레이블이 없음에도 불구하고 모델은 잠재 클래스 구조를 성공적으로 탐지하였으며, 혼합 성분에 할당된 입력들은 명확한 스타일적 일관성을 보였다.
• 이미지 복원 작업에서 모델은 LSUN 이미지에서 워터마크를 복원하는 등 뛰어난 정성적 성능을 보였다.
• 실제 자연 이미지 복원에 대해서는 두 단계 조건부 MatNet 아키텍처가 셀럽 얼굴, 성당, 타워 이미지에서 20x20 크기의 손상된 영역을 고해상도로 재구성하였다.
• 재구성에 경량 순차적 모델을 사용함으로써 이미지 품질과 인지적 사실성 모두가 크게 향상되었다.
• LSUN 이미지에서 워터마크를 재구성할 수 있는 능력은 모델이 세밀하고 구조적인 세부 사항을 견고하게 학습하고 있음을 시사한다.