[논문 리뷰] PixelSNAIL: An Improved Autoregressive Generative Model

Xi Chen, Nikhil Mishra외 2명|arXiv (Cornell University)|2017. 12. 28.

Generative Adversarial Networks and Image Synthesis참고 문헌 6인용 수 54

한 줄 요약

PixelSNAIL은 인과적 컨볼루션과 자기-주의를 결합하여 CIFAR-10 및 ImageNet 32×32에서 상태 최상의 밀도 추정치를 달성합니다.

ABSTRACT

Autoregressive generative models consistently achieve the best results in density estimation tasks involving high dimensional data, such as images or audio. They pose density estimation as a sequence modeling task, where a recurrent neural network (RNN) models the conditional distribution over the next element conditioned on all previous elements. In this paradigm, the bottleneck is the extent to which the RNN can model long-range dependencies, and the most successful approaches rely on causal convolutions, which offer better access to earlier parts of the sequence than conventional RNNs. Taking inspiration from recent work in meta reinforcement learning, where dealing with long-range dependencies is also essential, we introduce a new generative model architecture that combines causal convolutions with self attention. In this note, we describe the resulting model and present state-of-the-art log-likelihood results on CIFAR-10 (2.85 bits per dim) and $32 imes 32$ ImageNet (3.80 bits per dim). Our implementation is available at https://github.com/neocxi/pixelsnail-public

연구 동기 및 목표

• 고차원 데이터의 자기회귀 밀도 추정을 위한 긴 범위 의존성 모델링 개선 동기를 제시한다.
• 인과적 컨볼루션과 자기-주의를 통합하여 맥락을 더 잘 포착하는 아키텍처를 소개한다.
• 표준 벤치마크(CIFAR-10 및 ImageNet 32×32)에서 상태 최적의 로그 가능도 결과를 보여준다.
• 재현성과 연구 확장을 위한 오픈 소스 구현을 제공한다.

제안 방법

• 마스크된 2D 인과 컨볼루션의 잔차 블록과 자기-주의 블록을 교대로 배치하는 PixelSNAIL 아키텍처를 제안한다.
• 블록당 4개의 컨볼루션, 각 컨볼루션당 256개의 필터의 게이트 활성화를 잔차 블록에서 사용한다.
• 주의 블록에서 키 크기 16, 값 크기 128로 단일 마스크된 키-값 조회를 수행한다.
• CIFAR-10은 10개의 구성 요소, ImageNet은 32개로 이산화된 혼합 로지스틱 출력을 사용하고 파라미터 안정화를 위해 Polyak 평균을 적용한다.
• 드롭아웃은 CIFAR-10 모델에 적용하고 데이터 셋 크기 때문에 ImageNet에 대한 드롭아웃은 생략하며 주의 블록의 프로젝션에 1×1 컨볼루션을 구현한다.
• 주어진 저장소에서 PixelSNAIL 구현의 공개 코드를 제공한다.

실험 결과

연구 질문

• RQ1 인과적 컨볼루션과 자기-주의를 결합하는 것이 자기회귀 이미지 모델의 밀도 추정치를 개선하는가?
• RQ2 PixelSNAIL이 표준 벤치마크(CIFAR-10 및 ImageNet 32×32)에서 이전의 자기회귀 모델과 비교하여 어떤 성능을 보이는가?
• RQ3 블록 깊이, 주의 설정, 혼합 구성요소 등 아키텍처 선택이 로그 가능도 성능에 미치는 영향은 무엇인가?

주요 결과

• PixelSNAIL은 CIFAR-10에서 2.85 bits per dim, ImageNet 32×32에서 3.80 bits per dim를 달성하며 이전의 자기회귀 모델보다 더 높은 로그 가능도를 달성한다.
• PixelRNN, PixelCNN, PixelCNN++, Image Transformer 등과 비교할 때 통합된 인과 컨볼루션과 주의가 결합된 PixelSNAIL이 최상의 로그 가능도 결과를 제공합니다.
• Ablation 스타일의 결과는 인과 컨볼루션과 자기-주의가 모두 성능 향상에 기여하며 두 구성요소 중 하나만 사용할 때보다 더 좋음을 시사한다.
• 모듈 가능성 있는 코드를 포함하고 있어 재현성과 확장을 돕는다.