[논문 리뷰] Interactive Image Generation Using Scene Graphs

Gaurav Mittal, Shubham Agrawal외 3명|arXiv (Cornell University)|2019. 05. 09.

Multimodal Machine Learning Applications참고 문헌 19인용 수 28

한 줄 요약

이 논문은 시나리오 그래프를 사용하여 이전에 생성된 내용을 유지하면서 새로운 시나리오 그래프 정보가 추가될 때마다 단계적으로 이미지를 개선하는 상호작용적이고 점진적인 이미지 생성 프레임워크를 제안한다. 그래프 컬러네이션 네트워크(GCNs)와 순환 GAN 아키텍처를 결합하고, 지각 정규화를 적용함으로써 중간 단계의 지도 없이도 고품질의, 빌드업된 다중 객체 이미지를 생성하며, MS-COCO에서 이전 방법들보다 인ception 스코어와 지각 일관성 측면에서 뛰어난 성능을 보였다.

ABSTRACT

Recent years have witnessed some exciting developments in the domain of generating images from scene-based text descriptions. These approaches have primarily focused on generating images from a static text description and are limited to generating images in a single pass. They are unable to generate an image interactively based on an incrementally additive text description (something that is more intuitive and similar to the way we describe an image). We propose a method to generate an image incrementally based on a sequence of graphs of scene descriptions (scene-graphs). We propose a recurrent network architecture that preserves the image content generated in previous steps and modifies the cumulative image as per the newly provided scene information. Our model utilizes Graph Convolutional Networks (GCN) to cater to variable-sized scene graphs along with Generative Adversarial image translation networks to generate realistic multi-object images without needing any intermediate supervision during training. We experiment with Coco-Stuff dataset which has multi-object images along with annotations describing the visual scene and show that our model significantly outperforms other approaches on the same dataset in generating visually consistent images for incrementally growing scene graphs.

연구 동기 및 목표

• 사용자가 시나리오 그래프를 사용해 시나리오 기술을 점진적으로 개선하면서 상호작용적이고 단계적인 이미지 생성을 가능하게 하기 위해.
• 다음 단계에서 새로운 객체와 관계를 추가할 때 이전에 생성된 이미지 내용을 유지하기 위해.
• 학습 중 중간 단계의 지도 없이도 현실적이고 고품질의 다중 객체 이미지를 생성하기 위해.
• 복잡한 다중 객체 시나리오에서 어려움을 겪는 단일 단계 텍스트에서 이미지로의 변환 모델의 한계를 극복하기 위해.
• 실제 데이터셋인 MS-COCO와 같은 실제 세계 데이터셋으로 시나리오 그래프 기반의 이미지 생성을 확장하여, 지도 기반 중간 이미지가 필요한 합성 데이터에 의존하지 않기 위해.

제안 방법

• 이전 단계의 누적 이미지와 함께 새로운 시나리오 그래프 구성 요소의 점진적 추가를 조건으로 하는 순환 네트워크 아키텍처를 사용한다.
• 변동 크기의 시나리오 그래프를 효과적으로 처리하고 객체 및 관계 정보를 인코딩하기 위해 그래프 컬러네이션 네트워크(GCNs)를 활용한다.
• 실제 이미지와 생성된 이미지를 구분할 수 있도록 훈련된 판별기와 함께 생성적 적대적 네트워크(GANs)를 통합하여 현실적인 이미지 변환을 수행한다.
• 지각 정규화 손실(지앙 등, 2018)을 적용하여 단계 간의 시각 일관성을 강제로 유지하고, 이전에 생성된 내용의 왜곡을 최소화한다.
• 이н셉션 스코어를 통한 이미지 품질과 LPIPS를 통한 지각 일관성 간의 균형을 맞추기 위해 수정된 손실 함수를 사용해 엔드 투 엔드로 훈련한다.
• 시나리오 그래프를 점진적으로 처리한다: 각 단계에서 새로 추가된 노드와 간선만을 사용하여 이미지를 업데이트하고, 이전의 구조를 유지한다.

실험 결과

연구 질문

• RQ1 기존에 생성된 내용을 유지하면서 시나리오 그래프를 점진적으로 확장함으로써 이미지 생성을 상호작용적으로 만들 수 있는가?
• RQ2 중간 단계의 지도 없이도 깊이 있는 생성 모델이 여러 단계의 이미지 생성 간에 시각 일관성을 유지할 수 있는가?
• RQ3 GAN 기반 프레임워크는 실제 세계 데이터셋인 MS-COCO와 같은 데이터셋에서 점진적인 시나리오 그래프 입력으로부터 고해상도의 다중 객체 이미지를 생성할 수 있는가?
• RQ4 지각 정규화는 점진적 개선 과정에서 생성된 이미지의 시각 일관성을 향상시키는가?
• RQ5 이미지 품질과 구조적 정밀도 측면에서 점진적 생성은 단일 스포트 생성과 비교해 어떻게 다른가?

주요 결과

• 제안된 모델은 생성의 세 번째 단계에서 인셉션 스코어 5.02를 기록하여 베이스라인 Sg2im 모델(3.05)을 초월하며, 모든 단계에서 일관된 향상을 보였다.
• 연속된 단계 간의 지각 유사도 손실이 본 모델에서는 0.477과 0.421로, 베이스라인(0.658과 0.496)보다 유의미하게 낮아, 더 뛰어난 시각 일관성을 나타낸다.
• 모델은 시나리오 그래프에 명시적으로 기술되지 않은 이상, 배경 요소인 잔디와 하늘을 생성하지 않아 초기 단계에서 환각 현상을 줄였다.
• 일부 데이터셋 편향이 존재하나, 명시적으로 언급되지 않은 경우에 일부 객체(예: 바위 또는 물)를 환각적으로 생성하는 경우가 있어, 훈련 데이터에 잔존하는 편향이 존재함을 시사한다.
• 점진적 접근은 각 단계에서 더 적은 수의 객체에 집중함으로써 더 복잡한 시나리오의 생성을 향상시켜 의미론적 정확도와 객체의 세부 정보를 향상시켰다.
• 본 방법은 중간 단계의 지도 없이도 실세계 데이터셋인 MS-COCO에서 상호작용적이고 맥락 보존이 가능한 이미지 생성을 처음으로 달성하였다.