[논문 리뷰] Pixel Recurrent Neural Networks

Aäron van den Oord, Nal Kalchbrenner외 1명|arXiv (Cornell University)|2016. 01. 25.

Generative Adversarial Networks and Image Synthesis참고 문헌 32인용 수 488

한 줄 요약

PixelRNNs 모델은 2D 순환 계층(Row LSTM 및 Diagonal BiLSTM)과 마스킹된 합성곱을 사용하여 이미지 픽셀의 이산 분포를 모델링하고 고충실도, 전역적으로 일관된 이미지를 생성합니다. 그들은 여러 데이터셋에서 최첨단 로그 가능도(log-likelihoods)를 달성하고 ImageNet 벤치마크를 제공합니다.

ABSTRACT

Modeling the distribution of natural images is a landmark problem in unsupervised learning. This task requires an image model that is at once expressive, tractable and scalable. We present a deep neural network that sequentially predicts the pixels in an image along the two spatial dimensions. Our method models the discrete probability of the raw pixel values and encodes the complete set of dependencies in the image. Architectural novelties include fast two-dimensional recurrent layers and an effective use of residual connections in deep recurrent networks. We achieve log-likelihood scores on natural images that are considerably better than the previous state of the art. Our main results also provide benchmarks on the diverse ImageNet dataset. Samples generated from the model appear crisp, varied and globally coherent.

연구 동기 및 목표

• 픽셀 수준에서 자연 이미지의 계산 가능하고 표현력이 있는 생성 모델링을 유도한다.
• 이미지 행과 대각선 전역 의존성을 포착하기 위해 2차원 순환 아키텍처를 제안한다.
• 적절한 조건화를 위한 소프트맥스 출력과 마스킹된 합성곱을 이용한 이산 픽셀 모델링을 탐색한다.
• 표준 벤치마크에서 잔차 연결(residual connections) 및 다중 스케일 구성과 같은 아키텍처 혁신을 평가한다.
• 생성된 이미지의 전역 일관성과 사실감을 평가하기 위한 질적 샘플을 제공한다.

제안 방법

• 이미지 분포를 행 우선 순서로 픽셀에 대한 조건부 분포의 곱으로 분해한다.
• 각 픽셀의 RGB 채널을 softmax를 통한 조건부 다항 분포로 모델링한다(이산 값 0–255).
• 잔차 연결이 있는 두 개의 2D 순환 계층(Row LSTM(행 방향 합성곱)과 Diagonal BiLSTM(대각선 합성곱))을 도입한다.
• 적절한 픽셀 조건화를 보장하기 위해 합성곱 전이에서 마스킹을 적용한다(첫 번째 계층에는 mask A, 이후 계층에는 mask B).
• 빠른 학습을 위한 완전 합성곱 아키텍처를 가진 PixelCNN 변형을 개발하며, PixelRNN의 핵심 아이디어를 공유한다.
• 선택적으로 Multi-Scale PixelRNN을 사용하여 먼저 무조건적으로 작은 이미지를 생성하고 그 후 업샘플링된 작은 이미지에 조건화하여 더 큰 이미지를 생성한다.

실험 결과

연구 질문

• RQ1 2차원 순환 아키텍처(Row LSTM, Diagonal BiLSTM)가 자연 이미지의 장거리 의존성을 효과적으로 모델링할 수 있는가?
• RQ2 이산 픽셀 값을 softmax 출력으로 모델링하는 것이 연속 값 접근법보다 성능을 개선하는가?
• RQ3 잔차 연결과 깊이가 로그 가능도와 샘플 품질에 어떤 영향을 미치는가?
• RQ4 표준 데이터셋에서 픽셀 수준 자기회귀 모델은 PixelCNN과 같은 합성곱 대안과 어떻게 비교되는가?
• RQ5 다중 스케일 조건화 방식이 생성된 이미지의 전역 일관성을 향상시키는가?

주요 결과

• PixelRNNs는 MNIST와 CIFAR-10에서 이전 최첨단보다 현저히 더 좋은 로그 가능도 점수를 달성한다.
• 대각선 중심 재귀를 가진 Diagonal BiLSTM과 행 방향 재귀의 Row LSTM은 전역적 이미지 구조를 효과적으로 포착하며, 잔차 연결과 결합된 더 깊은 모델이 더 나은 성능을 보인다.
• 이산 소프트맥스 픽셀 모델링은 연속 픽셀 모델링에 비해 표현력과 학습상의 이점을 제공하여 경쟁력이 있는 혹은 더 우수한 로그 가능도 결과를 얻는다.
• 잔차 연결은 Deep PixelRNNs 및 PixelCNNs의 학습을 크게 돕고, 개선된 최적화를 통해 최대 12개의 순환 계층을 가능하게 한다.
• Multi-Scale PixelRNNs는 단일 스케일 모델에 비해 전역 일관성이 향상된 이미지를 생성하면서도 유사한 로그 가능도를 제공한다.