[논문 리뷰] Generating images with recurrent adversarial networks

Daniel Jiwoong Im, Chris Dongjoo Kim외 2명|arXiv (Cornell University)|2016. 02. 16.

Generative Adversarial Networks and Image Synthesis인용 수 23

한 줄 요약

이 논문은 시각적 캔버스에 대해 반복적이고 적대적으로 훈련된 업데이트를 통해 고품질 이미지를 합성하는 순환 생성 모델인 생성적 순환 적대망(GRAN)을 제안한다. 굵은에서 세밀한 방식이나 주의 기반 방법과는 달리, GRAN은 강제로 굵은에서 세밀한 또는 주의 기반 아키텍처를 부여하지 않고 종단 간 최적의 생성 역학을 학습하며, 새로운 적대적 평가 지표를 사용하여 이미지 생성 벤치마크에서 최신 기술 수준의 성능을 달성한다.

ABSTRACT

Gatys et al. (2015) showed that optimizing pixels to match features in a convolutional network with respect reference image features is a way to render images of high visual quality. We show that unrolling this gradient-based optimization yields a recurrent computation that creates images by incrementally adding onto a visual "canvas". We propose a recurrent generative model inspired by this view, and show that it can be trained using adversarial training to generate very good image samples. We also propose a way to quantitatively compare adversarial networks by having the generators and discriminators of these networks compete against each other.

연구 동기 및 목표

• 강제로 굵은에서 세밀한 또는 주의 기반 아키텍처를 부여하지 않고 최적의 이미지 생성 역학을 학습하는 순환 생성 모델을 개발하는 것.
• 신경 스타일 전이에서의 특징 매칭과 유사한 미분 가능하고 반복적인 최적화 과정으로 이미지 합성 과정을 모델링하여 이미지 생성 품질을 향상시키는 것.
• 두 모델의 생성기와 판별기 간의 상호 경쟁을 기반으로 한 새로운 정량적 평가 프레임워크를 도입하는 것.
• 반복적 적대망이 단일 스텝 GAN과 기존 순차 모델에 비해 열등한 시각적 샘플을 생성할 수 있음을 입증하는 것.
• 노이즈 주입 전략이 순환 생성에서 샘플 다양성과 훈련 안정성에 미치는 영향을 조사하는 것.

제안 방법

• 모델은 현재 캔버스와 기준 이미지에서 추출한 특징을 바탕으로 픽셀 수준의 보정을 생성하여 잠재 캔버스를 반복적으로 업데이트하는 순환 네트워크를 사용한다.
• 이미지 생성은 Gatys 등(2015)의 경량 기반 최적화 과정을 펼쳐내는 것으로 간주되며, 생성기는 캔버스에 대해 미분 가능하고 순환적인 업데이트를 수행한다.
• 생성기와 판별기는 판별기가 진짜 이미지와 생성된 이미지를 구분하도록 최소-최대 적대적 목적함수를 통해 훈련된다.
• 새로운 평가 지표가 도입되며, 두 모델의 판별기와 생성기가 상호 경쟁하는 '전투' 방식으로 이루어지며, 더 현실적인 샘플을 생성하는 생성기의 성능을 평가한다.
• 노이즈는 처음에 한 번 또는 매 시간 단계마다 주입하여 샘플 다양성과 훈련 안정성에 미치는 영향을 탐색한다.
• 백프로파게이션 스루 타임을 사용하여 아키텍처를 종단 간으로 훈련하며, 각 단계에서 동일한 모듈을 적용하여 네트워크가 최적의 생성 순서를 학습할 수 있도록 한다.

실험 결과

연구 질문

• RQ1 강제로 굵은에서 세밀한 또는 주의 기반 아키텍처를 부여하지 않고도 순환 적대망이 고품질 이미지를 생성할 수 있는가?
• RQ2 단일 스텝 GAN과 비교할 때, 시각적 캔버스의 반복적이고 순환적인 정련 방식은 이미지 품질과 다양성 측면에서 어떻게 다른가?
• RQ3 두 모델의 생성기와 판별기가 상호 경쟁하는 방식의 새로운 적대적 평가 지표가 생성 모델의 순위를 신뢰성 있게 정할 수 있는가?
• RQ4 각 시간 단계마다 다른 노이즈 벡터를 주입하는 것과 단일 초기 노이즈 주입의 영향을 샘플 품질과 훈련 안정성 측면에서 비교하면 어떻게 되는가?
• RQ5 모델은 과적합 행동을 보이며, 만약 그렇다면 그 과적합이 기억화가 아니라 훈련 예제 간의 보간으로 나타나는가?

주요 결과

• 제안된 적대적 평가 지표를 통해 검증된 결과, GRAN은 단일 스텝 GAN과 기존 순차 모델에 비해 고품질이고 다양한 이미지를 생성하는 데에 뛰어나다.
• 모델은 시간이 지남에 따라 점점 더 세밀한 이미지를 생성하며, 중간 단계에서는 명확한 질감과 구조의 점진적 정련이 이루어지며, 명시적인 주의 또는 굵은에서 세밀한 설계 없이도 이를 달성한다.
• 각 시간 단계마다 다른 노이즈 벡터를 주입하면 더 다이나믹한 중간 업데이트와 더 큰 시각적 다양성이 유도되지만, 훈련 난이도가 증가하고 모드 붕괴 위험이 증가한다.
• 크로스배틀 지표를 사용한 평가에서, GRAN5는 GRAN9와 경쟁할 때 테스트 스코어 1.09와 샘플 스코어 1.07를 기록하여 뛰어난 성능을 보였다.
• 모델는 기억화가 아니라 훈련 예제 간의 보간으로 나타나는 행동을 보이며, 일반적인 생성 모델의 과적합과는 다른 일반화 방식을 보여준다.
• 7단계 또는 9단계를 사용한 GRAN은 5단계 모델과 유사한 시각적 샘플을 생성했지만, 평가 전투에서 7단계 버전이 승리하여 새로운 지표 하에서 더 긴 생성 시퀀스가 현실감을 향상시킬 수 있음을 시사한다.