[논문 리뷰] Inferring Semantic Layout for Hierarchical Text-to-Image Synthesis

Seunghoon Hong, Dingdong Yang외 2명|arXiv (Cornell University)|2018. 01. 16.

Generative Adversarial Networks and Image Synthesis참고 문헌 30인용 수 45

한 줄 요약

논문은 텍스트에서 먼저 의미적 레이아웃(경계 상자와 형태)을 추론한 다음 해당 레이아웃에 조건부로 이미지를 생성하는 계층적 텍스트-이미지 합성 프레임워크를 제안하여 MS-COCO에서 의미 정렬성 및 해석 가능성을 향상시킨다.

ABSTRACT

We propose a novel hierarchical approach for text-to-image synthesis by inferring semantic layout. Instead of learning a direct mapping from text to image, our algorithm decomposes the generation process into multiple steps, in which it first constructs a semantic layout from the text by the layout generator and converts the layout to an image by the image generator. The proposed layout generator progressively constructs a semantic layout in a coarse-to-fine manner by generating object bounding boxes and refining each box by estimating object shapes inside the box. The image generator synthesizes an image conditioned on the inferred semantic layout, which provides a useful semantic structure of an image matching with the text description. Our model not only generates semantically more meaningful images, but also allows automatic annotation of generated images and user-controlled generation process by modifying the generated scene layout. We demonstrate the capability of the proposed model on challenging MS-COCO dataset and show that the model can substantially improve the image quality, interpretability of output and semantic alignment to input text over existing approaches.

연구 동기 및 목표

• 일반 텍스트 설명으로부터 복잡하고 현실적인 이미지를 생성하는 도전 과제를 동기화하고 해결한다.
• 텍스트-레이아웃과 레이아웃-이미지 합성을 분리하기 위한 의미적 레이아웃 기반 생성 파이프라인을 도입한다.
• 객체 수준의 레이아웃을 예측함으로써 미세한 제어 및 자동 주석화를 가능하게 한다.
• MS-COCO에서 기존의 텍스트-이미지 방법들보다 의미적 정확성과 이미지 품질을 개선했다.

제안 방법

• 텍스트로부터 객체 경계 상자와 라벨을 자동 회귀적으로 예측하는 박스 생성기와 각 상자의 내부에서 객체의 마스크를 다듬는 형태 생성기의 2단계 레이아웃 생성기를 사용한다.
• 인스턴스 마스크를 모아 의미적 레이블 맵을 구성하고 이를 이미지 생성기를 안내한다.
• 상자와 마스크에 대해 감독 손실(NLL for boxes and labels; adversarial and perceptual losses for masks)을 통해 인스턴스별 및 글로벌 레이아웃 일관성을 강제한다.
• 추론된 의미적 레이아웃과 입력 텍스트 모두에 조건화된 이미지를 생성하기 위해 텍스트에 대한 주의 흐름이 있는 cascaded encoder-decoder를 사용하고, 레이아웃도 수신하는 판별기를 함께 두었다.
• GAN 학습의 안정화를 위해 지각 손실을 활용하고 객체 형태를 향상시키며, 예측된 레이아웃을 수정하여 인터랙티브한 제어를 가능하게 한다.

실험 결과

연구 질문

• RQ1 텍스트에서 의미적 레이아웃을 명시적으로 추론하는 것이 복잡한 장면의 텍스트-이미지 합성의 품질과 해석 가능성을 향상시키는가?
• RQ2 추론된 레이아웃을 조건으로 이미지를 생성하는 것이 직접적인 텍스트-이미지 방법보다 입력 텍스트와 더 잘 일치하는 이미지를 만들어내는가?
• RQ3 경계 상자 및 마스크 예측이 이미지 충실도와 의미적 일관성에 어느 정도 기여하는가?
• RQ4 추론된 레이아웃이 제어 가능한 생성 및 생성 콘텐츠의 자동 주석화 지원에 기여하는가?

주요 결과

• 제안된 방법은 MS-COCO에서 이전 GAN 기반 텍스트-이미지 방법들보다 Inception 점수를 크게 향상시킨다.
• Caption 기반 평가에서 생성된 이미지가 입력 텍스트와의 관련성 면에서 베이스라인보다 높다.
• 인간 평가에서 제안된 방법의 이미지를 텍스트와의 관련성 면에서 최상으로 평가하는 비율이 더 높았으며(작업의 약 60%), 사용자가 더 자주 선택했다.
• 예측된 레이아웃을 정답 레이아웃으로 대체하는 제거적 실험은 점진적인 이익을 보여주며, 레이아웃 품질이 이미지 생성에 영향을 준다는 것을 확인했다.
• 모델은 명시적 레이아웃 조건화를 활용하여 더 인지 가능하고 의미적으로 의미 있는 이미지를 생성한다.