[논문 리뷰] LR-GAN: Layered Recursive Generative Adversarial Networks for Image Generation

Jianwei Yang, Anitha Kannan외 2명|arXiv (Cornell University)|2017. 03. 05.

Generative Adversarial Networks and Image Synthesis인용 수 137

한 줄 요약

LR-GAN은 생성된 배경 위에 전경 객체를 재귀적으로 구성하고, 각각의 외관, 형태, 포즈를 별도로 모델링하여 이미지를 생성하므로 DCGAN보다 더 자연스럽고 인식 가능한 이미지를 얻으며, GAN 프레임워크 내에서 전경-배경 계층화 및 공간 변환을 도입한다.

ABSTRACT

We present LR-GAN: an adversarial image generation model which takes scene structure and context into account. Unlike previous generative adversarial networks (GANs), the proposed GAN learns to generate image background and foregrounds separately and recursively, and stitch the foregrounds on the background in a contextually relevant manner to produce a complete natural image. For each foreground, the model learns to generate its appearance, shape and pose. The whole model is unsupervised, and is trained in an end-to-end manner with gradient descent methods. The experiments demonstrate that LR-GAN can generate more natural images with objects that are more human recognizable than DCGAN.

연구 동기 및 목표

• 배경과 전경 객체로 이루어진 계층화된 장면 구조를 활용하여 자연스러운 이미지 생성을 동기화한다.
• 생성된 배경에 전경 레이어를 붙여 이미지를 단계적으로 구성하는 재귀 GAN을 제안한다.
• 각 객체를 외관(appearance), 형태(mask), 포즈(affine 변환)로 분해하여 유연한 장면 구성을 가능하게 한다.
• 무감독 방식으로 엔드투엔드로 모델을 학습하고 DCGAN에 비해 여러 데이터셋에서 개선을 시연한다.

제안 방법

• 배경 생성기 G_b와 재발생하는 전경 생성기 G_f를 도입하여 타임스텝 간 매개변수를 공유한다.
• 각 타임스텝 t에서 객체의 외관 f_t, 형태 m_t, 포즈 a_t를 생성하고 이를 공간 변환기 ST를 통해 변환한 뒤, Eq. (4)를 사용하여 이전 캔버스 x_{t-1}와 합성한다.
• sigmoid 출력의 마스크 m_t를 사용하여 알파 블렌딩된 전경을 얻고, f_t와 m_t에 아핀 변형을 적용하기 위한 공간 변환 그리드를 사용한다.
• 시간적 연결을 위해 노이즈-LSTM과 과거 객체 풀링 메커니즘을 도입하여 새로운 객체를 이전 내용에 조건화한다.
• GAN 목표를 사용하여 구분자 D로 실제 이미지와 생성 이미지를 구분하게 하고, 엔드투 엔드 경사 기반 최적화를 가능하게 한다.
• Inception Score 외에 Adversarial Accuracy와 Adversarial Divergence를 평가 지표로 제안한다.

실험 결과

연구 질문

• RQ1 계층화된 재귀 GAN이 배경과 여러 전경 객체를 명시적으로 모델링함으로써 더 자연스럽고 인식 가능한 이미지를 생성할 수 있는가?
• RQ2 객체를 외관, 형태, 포즈로 분해하고 아핀 변환을 적용하는 것이 전경-배경 분리 및 장면 현실감을 개선하는가?
• RQ3 명시적 공간 변환과 마스크가 데이터셋 전반에 걸친 생성 이미지의 질과 맥락 관련성에 어떤 영향을 주는가?
• RQ4 제안된 지표들(Adversarial Accuracy와 Adversarial Divergence)이 실제와 생성 이미지 간의 분포 유사성을 평가하는 데 효과적인가?
• RQ5 MNIST 변형, CIFAR-10, CUB-200 같은 데이터셋에서 LR-GAN이 시각적 충실도와 인간 판단 측면에서 DCGAN과 비교해 어떤 차이가 있는가?

주요 결과

• LR-GAN은 CIFAR-10 및 CUB-200에서 DCGAN보다 전경-배경 경계가 더 명확하고 혼합 아티팩트가 적게 나타난다.
• 정성적 분석과 인간 평가에서 LR-GAN이 더 현실적이고 인식 가능한 객체를 생성하며, 예를 들어 CUB-200에서 더 선명한 새 형태를 보인다.
• CIFAR-10에서 LR-GAN은 보고된 실험에서 Inception Score 변형, Adversarial Accuracy, Adversarial Divergence 지표에서 DCGAN보다 우수하다.
• 변형 연구 결과는 아핀 변환과 마스크(형태) 생성기가 축약된 분해를 피하고 타당한 결과를 유지하는 데 중요함을 보여준다.
• 맥락적 생성 결과는 고정된 배경과 호환되는 전경이 나타나 레이어 간 학습된 맥락 의존성을 시사한다.
• 카테고리별 제너레이터가 CIFAR-10에서 특정 클래스(예: 말, 두더지, 고양이)의 현실감을 향상시킨다.