[논문 리뷰] Generating Multiple Objects at Spatially Distinct Locations

Tobias Hinz, Stefan Heinrich외 1명|arXiv (Cornell University)|2019. 01. 03.

Multimodal Machine Learning Applications참고 문헌 30인용 수 30

한 줄 요약

이 논문은 유일한 객체 경로를 갖는 새로운 GAN 아키텍처를 제안하며, 전체 세부 레이아웃을 요구하지 않고도 바운딩 박스와 클래스 레이블만으로 생성된 이미지 내에서 다수의 객체에 대한 정밀한 제어를 가능하게 한다. 이는 객체의 정체성, 위치, 크기 제어를 가능하게 한다. 이 방법은 MS-COCO, CLEVR, Multi-MNIST에서 상태의 기술을 달성하며, 전체 장면의 맥락을 처리하는 글로벌 경로와 지정된 위치에서 반복적으로 객체 특징을 생성하는 객체 경로를 공동으로 훈련시킴으로써 이미지 품질과 레이아웃 제어 성능을 향상시킨다.

ABSTRACT

Recent improvements to Generative Adversarial Networks (GANs) have made it possible to generate realistic images in high resolution based on natural language descriptions such as image captions. Furthermore, conditional GANs allow us to control the image generation process through labels or even natural language descriptions. However, fine-grained control of the image layout, i.e. where in the image specific objects should be located, is still difficult to achieve. This is especially true for images that should contain multiple distinct objects at different spatial locations. We introduce a new approach which allows us to control the location of arbitrarily many objects within an image by adding an object pathway to both the generator and the discriminator. Our approach does not need a detailed semantic layout but only bounding boxes and the respective labels of the desired objects are needed. The object pathway focuses solely on the individual objects and is iteratively applied at the locations specified by the bounding boxes. The global pathway focuses on the image background and the general image layout. We perform experiments on the Multi-MNIST, CLEVR, and the more complex MS-COCO data set. Our experiments show that through the use of the object pathway we can control object locations within images and can model complex scenes with multiple objects at various locations. We further show that the object pathway focuses on the individual objects and learns features relevant for these, while the global pathway focuses on global image characteristics and the image background.

연구 동기 및 목표

• 전체 의미 레이아웃을 요구하지 않고도 생성된 이미지 내 객체 배치에 대한 정밀한 제어를 가능하게 하기 위해.
• 객체 레이블과 바운딩 박스만을 사용하여 다수의 공간적으로 구분되는 객체를 포함한 복잡한 장면을 생성하는 데 도전하는 것.
• 글로벌 장면 이해와 국소적 객체 표현을 분리함으로써 GAN 기반 이미지 생성에서 이미지 품질과 레이아웃 일致성 향상시키기 위해.
• 객체 경로가 객체 특화된 특징을 학습하고, 글로벌 경로가 배경과 전반적 구조에 집중한다는 것을 입증하기 위해.

제안 방법

• 글로벌 경로(전반적 장면 레이아웃과 배경 처리)와 개별 객체 특징을 처리하는 객체 경로를 갖는 이중 경로 생성기 도입.
• 객체 경로는 각 객체 위치에 대해 바운딩 박스와 클래스 레이블을 사용하여 반복적으로 국소적 특징을 생성한다.
• 두 경로의 특징을 연결하여 공유 생성 헤드를 통해 최종 이미지를 생성한다.
• 판별기 또한 유사한 이중 경로 구조를 사용: 글로벌 경로는 전체 이미지를 처리하고, 객체 경로는 바운딩 박스에 의해 정의된 영역에만 집중한다.
• 모델은 적대적 손실을 사용하여 엔드 투 엔드로 훈련되며, 판별기는 현실성, 텍스트 일치도, 객체 위치 및 정체성 정확도를 평가한다.
• 객체 형태나 부분 세분화를 학습할 필요 없이, 바운딩 박스 좌표와 클래스 레이블만을 입력으로 사용한다.

실험 결과

연구 질문

• RQ1 전체 의미 레이아웃을 요구하지 않고도, 사용자가 지정한 정확한 위치에 다수의 객체를 생성할 수 있는가?
• RQ2 보조 객체 경로가 표준 GAN에 비해 생성된 이미지의 품질과 공간 일관성에 기여하는가?
• RQ3 객체 경로가 분리된, 카테고리별 특화된 특징을 학습하고, 글로벌 경로가 배경과 장면 수준의 맥락을 포괄하는가?
• RQ4 겹치는 바운딩 박스 또는 바운딩 박스에 포함되지 않는 작은 객체와 같은 도전적인 조건에서 모델의 성능은 어떠한가?

주요 결과

• 객체 경로는 바운딩 박스에 의해 정의된 정확한 공간 위치에 각 객체 카테고리에 특화된 특징을 성공적으로 생성하고 배치한다.
• 특징 시각화와 활성도 분석을 통해 글로벌 경로는 배경과 전반적 이미지 구조에 집중하고, 객체 경로는 세부적인 객체 특징에 특화되어 있음을 확인하였다.
• 지식 기반 바운딩 박스를 사용한 방법과 비교했을 때, MS-COCO와 CLEVR에서 FID와 Inception Score 모두 최고 성능을 기록하였으며, 바운딩 박스 내 객체 형태 학습 없이도 성능 향상을 달성하였다.
• 객체 경로를 비활성화한 경우, 모델은 명확한 객체를 생성하지 못하고 배경 유사한 장면만 생성하여, 객체 경로의 핵심적 역할을 확인하였다.
• 30% 이상의 겹침을 보이는 바운딩 박스는 겹치는 영역에서 시각적 이상 현상과 일관성 없는 결과를 유발하여, 특징 융합 전략의 한계를 드러냈다.
• 바운딩 박스가 할당되지 않은 작은 객체(예: 풀 속 양)는 캡션에 기재되어 있음에도 불구하고 종종 완전히 생략되며, 이는 객체 경로의 입력 부족으로 인한 결과이다.