[논문 리뷰] DRAW: A Recurrent Neural Network For Image Generation

Karol Gregor, Ivo Danihelka외 3명|arXiv (Cornell University)|2015. 02. 16.

Generative Adversarial Networks and Image Synthesis참고 문헌 30인용 수 964

한 줄 요약

DRAW는 반복적인 이미지 생성을 위한 가변 자동부호화와 순차적 정련을 결합한, 가분 가능한 공간 주의를 갖춘 순환 신경망을 제안한다. 이는 바이너리 MNIST에서 최고 성능을 기록하며, 실제 이미지와 구분되지 않는 사진처럼 생긴 Street View House Numbers를 생성한다.

ABSTRACT

This paper introduces the Deep Recurrent Attentive Writer (DRAW) neural network architecture for image generation. DRAW networks combine a novel spatial attention mechanism that mimics the foveation of the human eye, with a sequential variational auto-encoding framework that allows for the iterative construction of complex images. The system substantially improves on the state of the art for generative models on MNIST, and, when trained on the Street View House Numbers dataset, it generates images that cannot be distinguished from real data with the naked eye.

연구 동기 및 목표

• 반복적 정련을 통해 인간과 유사한 순차적 이미지 생성을 모방하는 생성 모델을 개발한다.
• 일괄 생성 모델의 한계를 해결하기 위해 점진적이고 주의 지향적인 이미지 구축을 가능하게 한다.
• SVHN 및 CIFAR-10과 같은 복잡한 데이터셋에서 이미지 생성의 확장성과 품질을 향상시킨다.
• 종합적인 미분 가능한 주의 메커니즘을 변분 자동부호화 프레임워크에 통합하여 엔드 투 엔드 학습을 가능하게 한다.

제안 방법

• 시간에 따라 잠재 코드의 시퀀스를 처리하는 순환 인코더-디코더 아키텍처를 사용한다.
• 각 타임스텝에서 읽기(인코더) 및 쓰기(디코더)할 영역을 동적으로 선택하는 가분 가능한 공간 주의 메커니즘을 적용한다.
• 전체 이미지를 한 번에 생성하는 대신, 캔버스에 작은 수정을 반복적으로 추가하여 이미지를 점진적으로 구성한다.
• 잠재변수의 사전 분포와 관측 데이터 간의 KL 발산 항과 재구성 오차를 포함한 변분 추론 프레임워크를 적용하여 로그우도의 변분 상한을 최소화한다.
• 순환 디코더를 사용하여 이미지 패치를 생성하고 누적된 캔버스에 추가하며, 주의 메커니즘이 어디에 쓰일지를 안내한다.
• 변분 하한(ELBO)에 기반한 확률적 경사 하강법을 사용하여 전체 시스템을 엔드 투 엔드로 학습시킨다.

실험 결과

연구 질문

• RQ1 가분 가능한 주의를 갖춘 순환 신경망은 반복적 정련을 통해 고품질의 복잡한 이미지를 생성할 수 있는가?
• RQ2 공간 주의를 통합함으로써 비주시 모델 대비 이미지 생성 품질과 확장성은 향상되는가?
• RQ3 Street View House Numbers와 같은 현실적인 자연 이미지를 인간 평가자에 의해 실제 데이터와 구분되지 않도록 생성할 수 있는가?
• RQ4 이전 최고 성능 모델 대비, 다양한 고해상도 데이터셋인 CIFAR-10에서의 성능은 어떠한가?
• RQ5 동일한 주의 메커니즘은 이미지 분류 작업에도 유용한가?

주요 결과

• DRAW는 바이너리 MNIST 이미지 생성에서 이전 방법들을 능가하는 최고 성능을 기록한다.
• Street View House Numbers 데이터셋에서 인간 평가를 통해 생성된 이미지가 실제 이미지와 시각적으로 구분되지 않음을 확인했다.
• 모델은 각 숫자를 순차적으로 그림으로써 두 자리 수 MNIST 조합을 생성하여 복합 장면 생성 능력을 보였다.
• 주의 메커니즘이 네트워크가 인간의 스케치 행동을 모방하여 선을 따라 숫자를 그릴 수 있도록 했다.
• 모델는 CIFAR-10에 일반화되어 고복잡도의 데이터셋과 제한된 학습 데이터에도 불구하고 다양한 현실적인 이미지를 생성했다.
• 가분 가능한 주의 메커니즘이 이미지 분류 작업에서 성능 향상을 이끌어내어 생성 외적으로도 광범위한 적용 가능성을 보였다.