[논문 리뷰] Image Generation from Scene Graphs

Justin Johnson, Agrim Gupta외 1명|arXiv (Cornell University)|2018. 04. 04.

Multimodal Machine Learning Applications인용 수 47

한 줄 요약

이 논문은 graph convolutions로 그래프를 처리하고, 바운딩 박스와 마스크의 장면 레이아웃을 예측하며, cascaded refinement network를 통해 렌더링하고, 두 개의 적대적 판별기로 학습된 엔드-투-엔드(end-to-end) 모델을 제시한다.

ABSTRACT

To truly understand the visual world our models should be able not only to recognize images but also generate them. To this end, there has been exciting recent progress on generating images from natural language descriptions. These methods give stunning results on limited domains such as descriptions of birds or flowers, but struggle to faithfully reproduce complex sentences with many objects and relationships. To overcome this limitation we propose a method for generating images from scene graphs, enabling explicitly reasoning about objects and their relationships. Our model uses graph convolution to process input graphs, computes a scene layout by predicting bounding boxes and segmentation masks for objects, and converts the layout to an image with a cascaded refinement network. The network is trained adversarially against a pair of discriminators to ensure realistic outputs. We validate our approach on Visual Genome and COCO-Stuff, where qualitative results, ablations, and user studies demonstrate our method's ability to generate complex images with multiple objects.

연구 동기 및 목표

• 구조화된 장면 그래프에서 이미지를 생성하는 것을 동기로 삼아 여러 물체와 관계가 있는 복잡한 장면을 처리합니다.
• 객체 배치와 레이아웃 정보를 안내하기 위한 장면 그래프용 그래프 기반 임베딩을 개발합니다.
• 상징적(scene) 장면 그래프에서 픽셀 수준의 이미지로 연결하기 위해 장면 레이아웃과 CRN 기반 렌더링을 활용합니다.

제안 방법

• scene graphs를 그래프 컨볼루션 네트워크로 처리하여 객체 임베딩을 생성합니다.
• 개별 객체의 바운딩 박스와 세그먼테이션 마스크를 예측하여 장면 레이아웃을 형성합니다.
• CRN(Cascaded Refinement Network)을 사용하여 장면 레이아웃을 이미지로 렌더링합니다.
• 이미지 공간 판별기와 객체 중심 판별기의 두 판별기로 전체 파이프라인을 적대적으로 학습합니다.

실험 결과

연구 질문

• RQ1 복잡한 장면에서 올바른 물체와 관계를 가진 이미지를 생성하기 위해 장면 그래프를 활용할 수 있는가?
• RQ2 그래프 기반 추론이 이미지 합성에서 객체 위치 지정 및 레이아웃 예측을 향상시키는가?
• RQ3 레이아웃 기반 접근법이 인식 가능한 객체와 의미적 충실성을 생산하는 데 있어 텍스트-대-이미지 방법과 어떻게 비교되는가?
• RQ4 적대적 학습과 객체 수준 판별이 이미지 리얼리즘에 얼마나 기여하는가?

주요 결과

• 제안된 방법은 Visual Genome과 COCO-Stuff에서 입력된 scene graphs를 충족하는 복잡한 이미지를 생성한다.
• 그래프 컨볼루션 및 관계 모델링이 제거 연구(ablation)와 비교하여 객체 위치 지정과 레이아웃 다양성을 향상시킨다.
• D_img와 D_obj를 이용한 적대적 학습은 픽셀만 학습하는 경우보다 더 현실적인 이미지와 인식 가능한 객체를 산출한다.
• 사용자 연구에서 scene-graph 기반 방법이 COCO 파생 작업에서 StackGAN보다 더 높은 의미 해석 가능성과 객체 재현율을 보였다.
• 예측된 레이아웃(바운딩 박스 및 마스크)은 테스트 시 ground-truth 레이아웃이 사용 불가하더라도 효과적일 수 있다.
• 실제 정답 레이아웃은 이미지 품질을 더 향상시키며, 렌더링보다는 레이아웃 예측의 병목 현상을 시사한다.