[논문 리뷰] Latent Variable PixelCNNs for Natural Image Modeling

Alexander Kolesnikov, Christoph H. Lampert|arXiv (Cornell University)|2016. 12. 24.

Generative Adversarial Networks and Image Synthesis참고 문헌 22인용 수 3

한 줄 요약

이 논문은 고해상도 이미지 모델링을 향상시키기 위해 보조 변수(예: 양자화된 회색조 이미지 또는 다중 해상도 피라미드)를 자동귀사 PixelCNN에 통합한 잠재변수 PixelCNN을 제안한다. 이러한 잠재 표현을 활용함으로써 모델은 더 효과적으로 고수준의 이미지 구조를 포착하고, 이전 최고 수준의 모델보다 훨씬 더 현실적인 이미지 생성을 가능하게 하며 샘플링 속도를 높인다.

ABSTRACT

We study probabilistic models of natural images and extend the autoregressive family of PixelCNN architectures by incorporating auxiliary variables. Subsequently, we describe two new generative image models that exploit different image transformations as auxiliary variables: a quantized grayscale view of the image or a multi-resolution image pyramid. The proposed models tackle two known shortcomings of existing PixelCNN models: 1) their tendency to focus on low-level image details, while largely ignoring high-level image information, such as object shapes, and 2) their computationally costly procedure for image sampling. We experimentally demonstrate benefits of the proposed models, in particular showing that they produce much more realistically looking image samples than previous state-of-the-art probabilistic models.

연구 동기 및 목표

• 기존 PixelCNN 모델이 객체 형태와 같은 고수준 이미지 구조를 忽시하는 한계를 해결하기 위해.
• 자기귀사 모델에서 이미지 샘플링의 계산 비용을 줄이기 위해.
• 구조적 보조 변수를 생성 과정에 통합하여 샘플 품질을 향상시키기 위해.
• 다양한 이미지 변환이 이미지 모델링을 위한 효과적인 잠재변수로 어떻게 기능할 수 있는지 탐색하기 위해.
• 보조 변수가 샘플링 효율성과 생성 이미지의 정성적 품질을 향상시키는지 증명하기 위해.

제안 방법

• 보조 변수(예: 양자화된 회색조 이미지 또는 다중 해상도 피라미드)를 조건부로 사용하는 잠재변수 프레임워크를 도입하여 자동귀사 PixelCNN을 구성한다.
• x가 원본 이미지이고 z가 보조 변수일 때, 연합 확률 모델 p(x, z) = p(x|z)p(z)로 인수분해하는 방식을 사용한다.
• 픽셀 생성이 원본 이미지와 잠재 표현 z에 모두 의존하는 계층적 자동귀사 구조를 적용한다.
• 회색조, 다중 척도 등 다양한 이미지 변환을 고수준 구조를 포착하기 위해 보조 변수로 적용한다.
• 보조 변수를 활용해 순차적 픽셀 단위의 샘플링에 의존도를 낮추고 자동귀사 생성 과정을 안내한다.
• 이미지와 잠재 변수의 연합 분포에 대한 최대우도추정을 통해 모델을 훈련시킨다.

실험 결과

연구 질문

• RQ1 보조 변수는 자동귀사 이미지 모델에서 고수준 이미지 구조를 모델링하는 데 도움이 될 수 있는가?
• RQ2 회색조, 다중 해상도 등 다양한 이미지 변환은 생성 성능에 어떤 영향을 미치는가?
• RQ3 잠재변수의 사용이 샘플링 시간을 단축시키면서도 샘플 품질을 유지하거나 향상시킬 수 있는가?
• RQ4 구조적 잠재변수를 통합하면 표준 PixelCNN보다 더 현실적인 이미지 샘플을 생성할 수 있는가?
• RQ5 보조 변수를 사용할 경우 모델 복잡도와 샘플 충실도 사이의 상충 관계는 어떠한가?

주요 결과

• 제안된 모델은 이전 최고 수준의 확률적 모델보다 훨씬 더 현실적인 이미지 샘플을 생성한다.
• 양자화된 회색조 이미지나 다중 해상도 피라미드와 같은 보조 변수를 통합함으로써 모델은 객체 형태와 같은 고수준 이미지 구조를 포착하는 능력이 향상된다.
• 잠재변수의 사용으로 인해 자동귀사 생성 과정이 더 효율적이게 되어 이미지 샘플링의 계산 비용이 감소한다.
• 저수준 세부 정보를 넘어서 구조적 잠재 표현을 활용함으로써 샘플 품질이 향상된다.
• 실험 결과는 제안된 접근 방식이 정성적 품질과 샘플링 효율성 측면에서 표준 PixelCNN보다 뛰어나다는 것을 확인한다.
• 모델은 보조 변수가 고수준과 저수준 이미지 모델링을 효과적으로 분리함으로써 전체 생성 성능을 향상시킬 수 있음을 보여준다.