[논문 리뷰] Compositional GAN: Learning Conditional Image Composition

Samaneh Azadi, Deepak Pathak외 2명|arXiv (Cornell University)|2018. 07. 19.

Generative Adversarial Networks and Image Synthesis참고 문헌 28인용 수 26

한 줄 요약

이 논문은 자기일관성 있는 조합-분해 네트워크를 학습하여 이미지 생성 중 다수의 객체 간 공간적 상호작용을 모델링하는 조건부 GAN 프레임워크인 Compositional GAN을 제안한다. 모델은 쌍이 맞지 않는 훈련 데이터가 있는 상황에서도 개별 객체 이미지의 주변 분포에서 유래한 이미지를 기반으로 현실적인 복합 장면을 생성할 수 있으며, 정성적 평가와 사용자 평가를 통해 은폐, 척도 조정, 공간적 레이아웃 등의 효과적인 모델링을 입증한다.

ABSTRACT

Generative Adversarial Networks (GANs) can produce images of surprising complexity and realism, but are generally modeled to sample from a single latent source ignoring the explicit spatial interaction between multiple entities that could be present in a scene. Capturing such complex interactions between different objects in the world, including their relative scaling, spatial layout, occlusion, or viewpoint transformation is a challenging problem. In this work, we propose to model object composition in a GAN framework as a self-consistent composition-decomposition network. Our model is conditioned on the object images from their marginal distributions to generate a realistic image from their joint distribution by explicitly learning the possible interactions. We evaluate our model through qualitative experiments and user evaluations in both the scenarios when either paired or unpaired examples for the individual object images and the joint scenes are given during training. Our results reveal that the learned model captures potential interactions between the two object domains given as input to output new instances of composed scene at test time in a reasonable fashion.

연구 동기 및 목표

• 기존 GAN이 장면 내 다수의 객체 간 명시적인 공간적 상호작용을 모델링하는 데에 한계가 있음을 해결하기 위해.
• 출력 장면이 개별 객체 이미지에서 그들의 주변 분포로부터 추출된 이미지를 조합하여 구성되는 조건부 이미지 생성을 가능하게 하기 위해.
• 객체 쌍과 그 복합 장면의 쌍이 필요한 훈련 예제 없이도 객체 조합의 공동 분포를 학습하기 위해.
• 생성된 이미지에서 은폐, 상대적 척도, 공간적 레이아웃, 시점 변환과 같은 복잡한 상호작용을 모델링하기 위해.

제안 방법

• 모델은 객체 이미지를 장면으로 조합하고, 장면을 다시 구성 요소 객체로 분해하는 과정을 번갈아 가며 수행하는 자기일관성 있는 조합-분해 네트워크를 사용한다.
• 모델은 객체의 주변 분포에서 샘플링된 객체 이미지에 조건을 두어 의미 있는 방식으로 조합할 수 있도록 학습한다.
• 모델은 생성된 이미지가 현실적이도록 적대적 훈련을 사용하며, 조합-분해 사이클은 구조적 일관성을 강제한다.
• 모델은 쌍이 맞는 데이터와 쌍이 맞지 않는 데이터를 모두 사용하여 훈련되며, 다양한 훈련 데이터 제약 조건에서 일반화할 수 있도록 한다.
• 가장자리 조합 메커니즘을 통해 은폐 및 상대적 위치와 같은 공간적 상호작용을 명시적으로 모델링한다.

실험 결과

연구 질문

• RQ1 쌍이 맞지 않는 훈련 데이터가 없는 상황에서도 GAN 프레임워크가 다수의 객체 간 공간적 상호작용을 효과적으로 모델링할 수 있는가?
• RQ2 개별 객체와 복합 장면의 쌍이 없는 경우에도 모델이 현실적인 조합을 얼마나 잘 생성할 수 있는가?
• RQ3 자기일관성 있는 조합-분해 메커니즘이 생성된 장면의 현실성과 구조적 일관성에 얼마나 기여하는가?
• RQ4 모델이 복합 장면에서 은폐, 척도 조정, 시점 변화와 같은 복잡한 상호작용을 얼마나 효과적으로 포착하는가?

주요 결과

• 쌍이 맞는 예제가 없더라도, 주변 분포에서 유래한 객체 이미지를 기반으로 모델은 현실적인 복합 장면을 성공적으로 생성한다.
• 사용자 평가 결과, 생성된 조합이 타당하고 일관된 공간적 관계를 지닌 현실적인 이미지로 인식됨을 확인하였다.
• 정성적 결과는 모델이 은폐 및 상대적 척도와 같은 복잡한 상호작용을 합리적이고 일관된 방식으로 포착하고 있음을 보여준다.
• 자기일관성 있는 조합-분해 메커니즘이 기준 GAN에 비해 생성된 이미지의 구조적 정확도를 향상시킨다.
• 모델은 다양한 객체 도메인에서 잘 일반화되며, 공간적 레이아웃과 객체 간 관계에서 일관성을 유지한다.