[논문 리뷰] Image Generation from Layout

Bo Zhao, Lili Meng외 2명|arXiv (Cornell University)|2018. 11. 28.

Generative Adversarial Networks and Image Synthesis참고 문헌 57인용 수 7

한 줄 요약

이 논문은 객체 카테고리와 경계 박스로 정의된 원시적인 레이아웃에서 다양하고 현실적인 이미지를 생성하는 새로운 딥 생성 모델인 Layout2Im를 제안한다. 객체 표현을 카테고리(단어 임베딩을 통한)와 외형(정규 분포에서 샘플링된 잠재 벡터를 통한)으로 분리하고, 이를 합성곱 순환 신경망을 통해 조합함으로써, COCO-Stuff에서 24.66% 향상되고 Visual Genome에서 28.57% 향상된 최신 기준 인ception 스코어를 달성한다. 이는 분할 마스크 없이도 제어 가능하고 다양한 이미지 생성이 가능하다.

ABSTRACT

Despite significant recent progress on generative models, controlled generation of images depicting multiple and complex object layouts is still a difficult problem. Among the core challenges are the diversity of appearance a given object may possess and, as a result, exponential set of images consistent with a specified layout. To address these challenges, we propose a novel approach for layout-based image generation; we call it Layout2Im. Given the coarse spatial layout (bounding boxes + object categories), our model can generate a set of realistic images which have the correct objects in the desired locations. The representation of each object is disentangled into a specified/certain part (category) and an unspecified/uncertain part (appearance). The category is encoded using a word embedding and the appearance is distilled into a low-dimensional vector sampled from a normal distribution. Individual object representations are composed together using convolutional LSTM, to obtain an encoding of the complete layout, and then decoded to an image. Several loss terms are introduced to encourage accurate and diverse generation. The proposed Layout2Im model significantly outperforms the previous state of the art, boosting the best reported inception score by 24.66% and 28.57% on the very challenging COCO-Stuff and Visual Genome datasets, respectively. Extensive experiments also demonstrate our method's ability to generate complex and diverse images with multiple objects.

연구 동기 및 목표

• 원시적인 레이아웃(경계 박스 + 카테고리)에서 다양하고 현실적인 이미지를 생성하는 문제를 해결하기 위해, 외형과 상호작용의 변동성으로 인해 일대다 문제로 간주되는 문제를 다루는 것.
• 복잡한 장면을 다루기 어려우며 공간적 제어가 부족한 텍스트 기반 이미지 생성의 한계를 극복하기 위한 것.
• 객체의 위치와 크기를 명시하는 더 접근하기 쉬우며 정밀한 레이아웃 입력을 사용하여 시나리오 그래프 기반 방법을 개선하기 위한 것.
• 객체를 추가, 이동, 삭제하는 것과 같은 레이아웃 요소의 간편한 조작을 통해 제어 가능한 이미지 생성을 가능하게 하기 위한 것.
• 이미지의 현실성, 다양성, 객체 식별 가능성의 균형을 이루는 기울기 역전파가 가능한 종단 간 훈련 가능한 프레임워크를 개발하기 위한 것.

제안 방법

• 각 객체의 표현을 카테고리(학습된 단어 임베딩을 통한)와 외형(정규 분포에서 샘플링된 저차원 잠재 벡터를 통한)으로 분리한다.
• 경계 박스 좌표와 해당 객체의 표현을 사용하여 객체 전용 특징 맵을 구성한다.
• 합성곱 순환 신경망을 사용하여 모든 객체의 특징 맵을 조합하여 공간적 및 맥락적 의존성을 모델링하는 전역 이미지 표현을 생성한다.
• 디컨볼루션 네트워크를 사용하여 전역 특징 맵을 최종 이미지로 디코딩한다.
• 다중 구성 요소 손실을 사용하여 모델을 훈련한다: 픽셀 수준의 L1 재구성 손실, 이미지 및 객체 수준 출력에 대한 adversarial 손실, 생성된 객체의 카테고리 분류 손실.
• 두 개의 판별자 사용: 전체 이미지에 대한 판별자(현실성 강화를 위해)와 잘라낸 객체 영역에 대한 판별자(현실적이면서 올바른 카테고리로 객체 생성을 확보하기 위해).

실험 결과

연구 질문

• RQ1 분할 마스크나 복잡한 시나리오 그래프 없이도, 객체 카테고리와 경계 박스로 구성된 원시적인 레이아웃에서 다양하고 현실적인 이미지를 생성할 수 있는 딥 생성 모델이 존재하는가?
• RQ2 동일한 레이아웃에서 제어 가능하고 다양한 이미지 생성이 가능하도록, 객체의 외형과 카테고리를 어떻게 분리 표현할 수 있는가?
• RQ3 레이아웃 기반 이미지 합성에서 이미지의 현실성, 객체 식별 가능성, 생성 다양성을 균형 잡기 위해 필요한 손실 구성 요소는 무엇인가?
• RQ4 COCO-Stuff와 Visual Genome와 같은 복잡한 실세계 데이터셋에서 레이아웃 기반 생성이 기존의 텍스트 기반 이미지 생성 및 시나리오 그래프 기반 이미지 생성 방법보다 얼마나 뛰어나게 성능을 냈는가?
• RQ5 핵심 구성 요소(예: adversarial 또는 재구성 손실)를 제거했을 때 모델의 성능은 어떻게 변하는가?

주요 결과

• 제안된 Layout2Im 모델은 이전 최신 기준 모델 대비 COCO-Stuff 데이터셋에서 인ception 스코어를 24.66% 향상시켰다.
• 더 도전적인 Visual Genome 데이터셋에서는 인ception 스코어를 28.57% 향상시켜 복잡한 오픈 범주 장면에서 뛰어난 성능을 입증했다.
• Visual Genome 데이터셋에서 모델은 다양성 스코어 0.17을 달성했으며, 이는 sg2im 기준선의 0.02보다 훨씬 높아 강력한 생성 다양성을 나타낸다.
• 제거 실험 결과, L1 재구성 손실 또는 잠재 코드 손실을 제거할 경우 인ception 스코어가 감소함을 확인하여, 이 손실들이 이미지의 현실성 유지를 위해 중요하다는 것을 입증했다.
• 객체 분류 손실을 제거할 경우 인ception 스코어와 객체 정확도가 급격히 감소(10.06%)함을 확인하여, 이 손실이 식별 가능한 객체 생성에 핵심적인 역할을 한다는 것을 확인했다.
• 전체 모델은 인ception 스코어(8.1 ± 0.1), 객체 분류 정확도(48.09%), 다양성 스코어(0.17)에서 균형 잡힌 성능을 달성하여, 모든 지표에서 제거된 변형보다 뛰어난 성능을 보였다.