[논문 리뷰] Context-Aware Synthesis and Placement of Object Instances

Dong‐Hoon Lee, Sifei Liu외 4명|arXiv (Cornell University)|2018. 12. 06.

Multimodal Machine Learning Applications인용 수 65

한 줄 요약

본 논문은 두 개의 상호 연결된 모듈( 어디 && 무엇 )로 구성된 엔드-투-엔드 조건부 GAN 프레임워크를 제시하여, 씬 컨텍스트를 조건화하여 객체 인스턴스 마스크를 시맨틱 라벨 맵에 합성하고 배치하는 위치 분포와 형태 분포를 모델링합니다.

ABSTRACT

Learning to insert an object instance into an image in a semantically coherent manner is a challenging and interesting problem. Solving it requires (a) determining a location to place an object in the scene and (b) determining its appearance at the location. Such an object insertion model can potentially facilitate numerous image editing and scene parsing applications. In this paper, we propose an end-to-end trainable neural network for the task of inserting an object instance mask of a specified class into the semantic label map of an image. Our network consists of two generative modules where one determines where the inserted object mask should be (i.e., location and scale) and the other determines what the object mask shape (and pose) should look like. The two modules are connected together via a spatial transformation network and jointly trained. We devise a learning procedure that leverage both supervised and unsupervised data and show our model can insert an object at diverse locations with various appearances. We conduct extensive experimental validations with comparisons to strong baselines to verify the effectiveness of the proposed network.

연구 동기 및 목표

• 씬 의미 체계를 존중하는 방식으로 이미지에 새 객체 인스턴스를 삽입하는 문제를 동기 부여하고 해결한다.
• 입력 시맨틱 맵을 조건으로 객체를 어디에 배치할지와 어떤 모양/자세를 가져야 하는지의 공동 분포를 학습한다.
• 이미지 편집, AR/VR, 데이터 증강에 적합한 다양하고 그럴듯한 객체 삽입을 가능하게 한다.

제안 방법

• 두 개의 생성 모듈: where 모듈은 Spatial Transformer Network(STN)을 이용한 아핀 변환으로 위치/스케일을 예측하고; what 모듈은 위치를 조건으로 객체 마스크를 생성한다.
• 각 모듈은 공유 인코더를 가진 조건부 GAN이며, 변형을 모델링하기 위해 단위 가우시안 분산 잠재 변수를 포함한다.
• where 모듈은 모드 붕괴를 완화하기 위해 적대적 레이아웃 손실, 입력 재구성 손실, 감독된 아핀-변환 손실의 3항 손실을 사용하여 학습한다.
• what 모듈은 레이아웃과 형태에 대한 판별기를 두고, 다양하고 현실적인 형태를 촉진하는 감독 경로를 갖춘다.
• STN을 통한 모듈 간 엔드-투-엔드 미분 가능 연결이 joint 최적화와 생성된 형태의 일관된 배치를 가능하게 한다.
• 학습 중에는 모드 붕괴를 완화하기 위해 감독 경로와 비감독 경로를 사용하고, 추론 시에는 비감독 경로만 사용한다.

실험 결과

연구 질문

• RQ1 객체 인스턴스를 씬 컨텍스트와 기하학적 제약을 존중하며 시맨틱 라벨 맵에 그럴듯하게 삽입하려면 어떻게 할 수 있는가?
• RQ2 모델은 입력 씬에 조건화된 객체를 어디에 배치하고 어떤 모양을 생성할지의 공동 분포를 학습할 수 있는가?
• RQ3 합리적인 모듈링( where와 what)으로 문제를 분해하면 학습 안정성과 출력 다변화를 개선하는가?
• RQ4 생성된 삽입이 downstream 인식/탐지 측면에서 실제 세계의 맥락과 얼마나 잘 맞는가?
• RQ5 다양성 유지와 현실감 보존에 대한 주요 구분자와 감독의 영향은 무엇인가?

주요 결과

• 제안된 아키텍처는 그럴듯한 객체 위치(where)와 형태(what)에 대한 맥락 인식 분포를 학습한다.
• STN을 통해 미분 가능한 커플링이 있는 두 모듈의 엔드-투-엔드 학습 설계로 배치와 외관의 공동 최적화를 가능하게 한다.
• 삭제 실험(ablation)에서 구분자나 감독을 제거하면 모드 붕괴 또는 덜 다양한 위치/정확한 형태가 나타난다.
• 사람의 평가에서 43%의 경우 피평가자들이 합성 삽입물을 실물로 판단하여 높은 현실감을 보였다.
• Cityscapes 테스트에서 전체 모델은 재현율 0.79를 달성하며, 제거 변종의 재현율보다 높아 모든 구성요소의 이점을 시사한다.
• 모든 구분자(entire discriminator)를 사용할 때만 삽입된 인스턴스가 최첨단 탐지기에 의해 탐지될 가능성이 상승하는지에 대한 여부(표의 전체 모델 재현율 0.79).