[논문 리뷰] MIGS: Meta Image Generation from Scene Graphs

Azade Farshad, Sabrina Musatian외 2명|arXiv (Cornell University)|2021. 10. 22.

Multimodal Machine Learning Applications인용 수 7

한 줄 요약

MIGS는 소수의 훈련 예제로도 다양한 실사성 있는 이미지 생성이 가능한 메타학습 프레임워크를 제안한다. 사전 훈련된 생성자에 메타 최적화된 초기화를 적용하여 미세조정함으로써, BDD100k와 Action Genome에서 기존 기준 모델을 크게 능가하며, FID 및 KID 점수를 최대 2배 높이고 소수의 예제 설정에서 정밀도/재현율을 향상시킨다.

ABSTRACT

Generation of images from scene graphs is a promising direction towards explicit scene generation and manipulation. However, the images generated from the scene graphs lack quality, which in part comes due to high difficulty and diversity in the data. We propose MIGS (Meta Image Generation from Scene Graphs), a meta-learning based approach for few-shot image generation from graphs that enables adapting the model to different scenes and increases the image quality by training on diverse sets of tasks. By sampling the data in a task-driven fashion, we train the generator using meta-learning on different sets of tasks that are categorized based on the scene attributes. Our results show that using this meta-learning approach for the generation of images from scene graphs achieves state-of-the-art performance in terms of image quality and capturing the semantic relationships in the scene. Project Website: https://migs2021.github.io/

연구 동기 및 목표

• 소수의 훈련 예제로만 시나리오 그래프에서 다양한 실사성 있는 이미지를 생성하는 데 도전한다.
• 소수의 예제 상황에서 일반화 및 기억 현상 문제를 겪는 기존 모델들(예: SG2Im)의 한계를 극복한다.
• 이미지 생성 모델의 메타 최적화된 초기화를 학습하여 제로샷 및 소수의 예제 일반화를 향상시킨다.
• 최소한의 감독 하에 다양한 속성(예: 조명, 객체 외관 등)을 갖춘 고해상도 이미지 합성을 가능하게 한다.
• 실제 세계 데이터셋인 BDD100k와 Action Genome에서 다양한 샷 설정(5, 10, 160-shot)에서 견고한 성능을 보여준다.

제안 방법

• 소수의 예제로 빠르게 새로운 이미지 생성 작업에 적응할 수 있도록 훈련하는 메타학습 파라다임을 채택한다.
• 시나리오 그래프의 구조를 노드 임베딩으로 인코딩하기 위해 그래프 컨volution 네트워크(GCN)를 사용한다.
• 레이아웃 및 의미 맵을 사용하여 시나리오 그래프 입력에 조건부로 이미지를 생성하는 조건부 이미지 생성자(SPADE 또는 CRN)를 통합한다.
• 소수의 지원 이미지(5~160장)로만 새로운 작업에 신속히 적응할 수 있도록 생성자의 초기화를 메타 최적화를 통해 학습한다.
• 각 작업에서 소량의 지원 이미지와 그에 해당하는 시나리오 그래프를 사용해 모델을 미세조정한 후, 쿼리 시나리오 그래프에 대해 이미지를 생성한다.
• 일반화 및 생성된 이미지의 다양성을 검증하기 위해 인지적 및 척도 기반 평가(FID, KID, 정밀도/재현율)를 활용한다.

실험 결과

연구 질문

• RQ1 메타학습은 소수의 예제로 시나리오 그래프에서 이미지 생성을 향상시키면서도 훈련 샘플의 기억 현상을 줄일 수 있는가?
• RQ2 MIGS는 다양한 샷 설정(5, 10, 160-shot)에서 다양한 실사성 있는 이미지를 얼마나 잘 생성하는가?
• RQ3 지원 세트에 포함되지 않은 새로운 속성(예: 조명 조건, 객체 색상 등)에 대해 MIGS는 얼마나 잘 일반화되는가?
• RQ4 이미지의 해상도와 모드 커버리지 측면에서 MIGS는 SG2Im와 같은 기준 모델보다 얼마나 우수한가?
• RQ5 MIGS는 다양한 실제 세계 시나리오에서 복잡한 의미 관계를 효과적으로 포착할 수 있는가?

주요 결과

• BDD100k에서 MIGS + SPADE는 5-shot 학습에서 재현율(F₈) 0.74, 정밀도(F₁/₈) 0.823을 달성하여 기준 모델인 SG2Im + SPADE(F₈: 0.329, F₁/₈: 0.438)를 뛰어넘었다.
• Action Genome 데이터셋에서 MIGS + SPADE는 F₈ = 0.60, F₁/₈ = 0.50을 기록했으며, SG2Im + SPADE(F₈: 0.59, F₁/₈: 0.31)보다 뚜렷이 뛰어났다.
• 훈련 지원 세트에 나타나지 않은 다양한 속성(예: 다른 자동차 색상, 조명 조건 등)을 갖춘 이미지를 생성하여, 기억 현상 초월 강력한 일반화 능력을 입증했다.
• 160-shot 및 10-shot 설정에서는 구름, 도로 반사 등의 세밀한 디테일을 갖춘 고해상도 이미지를 생성했으나, 5-shot 성능은 다양성과 디테일 측면에서 제한적이었다.
• 사용자 연구 결과, MIGS가 생성한 이미지는 기준 모델 대비 인지적으로 더 선호되며, 지정된 속성(예: 주간, 야간)과 더 잘 부합하는 것으로 확인되었다.
• 정량적 지표(FID, KID)는 MIGS가 기준 모델보다 실제 데이터 분포에 더 가까운 이미지를 생성하며 더 높은 다양성과 현실성을 확보하고 있음을 보여주었다.