[논문 리뷰] PixelCNN Models with Auxiliary Variables for Natural Image Modeling

Alexander Kolesnikov, Christoph H. Lampert|arXiv (Cornell University)|2016. 12. 24.

Generative Adversarial Networks and Image Synthesis참고 문헌 30인용 수 7

한 줄 요약

이 논문은 표준 PixelCNN의 주요 한계인 고수준 이미지 구조(예: 객체 형태) 모델링 부족과 느린 샘플링을 해결하기 위해 보조 변수(양자화된 회색조 이미지 및 다중 해상도 이미지 피라미드)를 사용하는 두 가지 향상된 PixelCNN 모델—Grayscale PixelCNN과 Pyramid PixelCNN—을 제안한다. 저수준 텍스처와 고수준 형태 모델링을 분리함으로써 다중 해상도 생성을 가능하게 함으로써, 이 모델들은 더 현실적이며 전반적으로 일관된 고해상도 이미지를 생성한다. 특히 128×128 해상도에서 사진 수준의 얼굴 이미지를 생성할 수 있으며, 이는 이전 방법 대비 샘플링 속도가 최대 12.5배 빠르다.

ABSTRACT

We study probabilistic models of natural images and extend the autoregressive family of PixelCNN architectures by incorporating auxiliary variables. Subsequently, we describe two new generative image models that exploit different image transformations as auxiliary variables: a quantized grayscale view of the image or a multi-resolution image pyramid. The proposed models tackle two known shortcomings of existing PixelCNN models: 1) their tendency to focus on low-level image details, while largely ignoring high-level image information, such as object shapes, and 2) their computationally costly procedure for image sampling. We experimentally demonstrate benefits of the proposed models, in particular showing that they produce much more realistically looking image samples than previous state-of-the-art probabilistic models.

연구 동기 및 목표

• 표준 PixelCNN이 저수준 세부 정보에서는 뛰어난 성능을 보이지만, 고수준 이미지 구조(예: 객체 형태) 모델링에 한계가 있다는 문제를 해결하기 위해.
• 자기회귀 모델에서 순차적 픽셀 생성으로 인해 매우 느린 샘플링 비용을 줄이기 위해.
• 회색조 또는 다중 해상도 이미지 표현과 같은 보조 변수가 샘플 품질과 샘플링 효율성을 향상시킬 수 있는지 탐색하기 위해.
• 확률적 이미지 모델의 인덕티브 바이어스를 이해하기 위해, 특히 저수준 텍스처에 과도하게 피팅되어 전반적인 의미 정보를 손상시키는 경향을 분석하기 위해.
• 깊은 아키텍처가 필요 없이 다중 해상도에서 경량 PixelCNN을 적용함으로써 고해상도 이미지 생성의 고정밀도를 달성할 수 있는지 보여주기 위해.

제안 방법

• 저수준 텍스처 모델링과 고수준 형태 모델링을 분리하기 위해, 이미지의 양자화된 회색조 버전을 조건으로 사용하는 Grayscale PixelCNN을 도입한다.
• Py리미드 PixelCNN에서는 다중 해상도 이미지 피라미드를 보조 변수로 사용하여, 해상도에 따라 계층적이고 군집적인 생성을 가능하게 한다.
• 픽셀 강도를 모델링하기 위해 혼합 로지스틱 분포를 사용하며, 혼합 성분의 분산을 줄여 시각적 품질을 향상시키는 새로운 MAP 기반 샘플링 전략을 도입한다.
• 피라미드의 각 해상도에서 경량 PixelCNN 아키텍처를 적용하여 샘플링 중 픽셀당 계산 비용을 크게 감소시킨다.
• 합성곱 레이어의 공간적 위치 간에 공유 파라미터를 사용하며, 최대우도추정법을 통해 모델을 엔드 투 엔드로 훈련시킨다.
• 추가로 캐싱 최적화된 추론 파이프라인을 도입하여 샘플링 속도를 더욱 향상시켰으며, TitanX GPU에서 픽셀당 약 0.004초의 속도를 달성했다.

실험 결과

연구 질문

• RQ1 회색조 이미지와 같은 보조 변수를 조건으로 사용함으로써 PixelCNN의 고수준 이미지 구조(예: 객체 형태, 대칭성) 모델링 능력이 향상되는가?
• RQ2 이미지 표현의 피라미드를 사용해 다중 해상도 단계로 이미지 생성을 분해함으로써, 표준 자기회귀 모델 대비 더 빠르고 고품질의 샘플링이 가능한가?
• RQ3 저수준 텍스처 모델링이 자연 이미지의 핵심 고수준 의미 정보를 포착하는 데 얼마나 방해가 되는가?
• RQ4 다중 해상도에서 경량 PixelCNN 아키텍처를 적용해도 깊거나 복잡한 네트워크 없이도 사진 수준의 고해상도 이미지를 생성할 수 있는가?
• RQ5 확률적 샘플링과 MAP 추론의 장점을 결합한 샘플링 전략이 다양성을 유지하면서도 시각적 품질을 향상시킬 수 있는가?

주요 결과

• Grayscale PixelCNN은 객체 형태와 대칭성을 잘 포착하는 전반적으로 일관된 이미지 샘플을 생성하여, 표준 PixelCNN보다 시각적 품질이 크게 향상된다.
• Pyramid PixelCNN는 CIFAR-10에서 테스트 로그 likelihood가 3.32 비트/차원을 기록하며, 최신 기술 수준의 성능을 달성하면서도 고해상도 이미지 생성이 가능하다.
• 샘플링 속도는 약 12.5배 향상되었으며, TitanX GPU에서 픽셀당 약 0.004초의 속도를 기록했다. 이는 캐싱 기반 PixelCNN++의 약 0.05초 대비 빠른 속도이다.
• 새로운 MAP 기반 샘플링 전략—임의로 샘플된 혼합 성분의 모드를 선택하는 방식—은 근사 사진 수준의 품질을 갖는 이미지를 생성했으며, 다양한 얼굴 특징과 표정을 유지한다.
• Pyramid PixelCNN의 다중 해상도 생성 과정은 8×8 시드에서 시작해 128×128 이미지를 성공적으로 생성하며, 업샘플링 과정 전반에 걸쳐 전반적인 일관성과 구조적 일관성을 유지한다.
• 저자들은 혼합 성분의 분산을 줄임으로써 시각적 품질이 향상됨을 관찰했으며, 예측된 분포의 높은 분산이 현실감을 저해할 수 있음을 시사한다.