[논문 리뷰] Learning to Generate Images of Outdoor Scenes from Attributes and Semantic Layouts

Levent Karacan, Zeynep Akata외 2명|arXiv (Cornell University)|2016. 12. 01.

Generative Adversarial Networks and Image Synthesis참고 문헌 29인용 수 117

한 줄 요약

본 논문은 AL-CGAN을 도입한다. 이는 의미적 배치(semantic layouts)와 순간 속성(transient attributes)으로부터 야외 장면을 생성하는 조건부 GAN으로, 제어 가능하고 다양한 장면 합성을 가능하게 한다.

ABSTRACT

Automatic image synthesis research has been rapidly growing with deep networks getting more and more expressive. In the last couple of years, we have observed images of digits, indoor scenes, birds, chairs, etc. being automatically generated. The expressive power of image generators have also been enhanced by introducing several forms of conditioning variables such as object names, sentences, bounding box and key-point locations. In this work, we propose a novel deep conditional generative adversarial network architecture that takes its strength from the semantic layout and scene attributes integrated as conditioning variables. We show that our architecture is able to generate realistic outdoor scene images under different conditions, e.g. day-night, sunny-foggy, with clear object boundaries.

연구 동기 및 목표

• 제어 가능한 조건 하에서 자동 야외 장면 합성을 촉진한다.
• 의미적 배치를 사용하여 객체 경계와 위치를 결정하는 모델을 개발한다.
• 날씨와 시간대와 같은 전역적 외관을 제어하기 위해 일시적 장면 속성을 도입한다.
• 레이아웃 조건화와 속성 조건화를 결합하면 더 선명하고 디테일한 이미지를 얻을 수 있음을 보인다.
• 레이아웃에 요소를 추가하여 점진적으로 장면을 편집하는 것을 시연한다.

제안 방법

• AL-CGAN을 제안한다. G(z, s, a)가 잡음 벡터 z, 의미적 배치 s, 속성 벡터 a를 받아 이미지를 생성하는 조건부 GAN이다.
• 실제/생성된 이미지와 함께 조건 배치와 속성을 처리하는 시암쌍(discriminator)과 특징 융합 단계를 갖춘다.
• ADE20K와 Transient Attributes 데이터셋을 결합한 학습에서 미니배치 SGD와 Adam 옵티마이저를 사용하고 출력 이미지는 128x128이다.
• 장면 레이아웃은 19개의 비중첩 이진 맵과 비레이블 맵 하나로 표현하고, 속성을 공간 위치에 걸쳐 타일링한다.
• AL-CGAN을 장면 레이블 조건 GAN과 비교하고, 레이아웃 및 속성 조건화를 추가하는 이점을 보여주는 ablation 연구를 수행한다.

실험 결과

연구 질문

• RQ1 밀도 높은 의미적 레이아웃과 일시적 속성에 조건화된 현실적인 야외 장면을GAN이 생성할 수 있는가?
• RQ2 레이아웃 조건화와 일시적 속성의 결합이 현실감과 경계 선명도를 향상시키는가?
• RQ3 잠재 벡터, 레이아웃, 속성을 변화시키면 생성된 장면의 다양성과 제어 가능성에 어떤 영향을 미치는가?
• RQ4 모델이 점진적으로 장면 요소를 추가하여 생성 이미지를 다듬을 수 있는가?
• RQ5 학습 중에 보지 못한 새로운 레이아웃에 학습된 표현이 일반화되는가?

주요 결과

• AL-CGAN은 의미적 레이아웃 영역 내에서 선명한 객체 경계와 현실적인 색 분포를 생성한다.
• 일시적 속성을 변화시키면 고정된 레이아웃에서 타당한 주야 간 전환, 날씨 및 조명 변화를 가능하게 한다.
• 레이아웃 조건화와 속성 조건화를 모두 추가하면 어느 하나만 적용했을 때보다 더 다양하고 상세한 이미지가 얻어진다.
• 조잡한 레이아웃에 점진적으로 장면 요소를 추가하면 점차적으로 상세하고 일관된 장면이 만들어진다.
• 최근접 이웃 분석은 생성 이미지가 다양하며 단순히 훈련 샘플을 암기한 것이 아님을 시사한다.