[논문 리뷰] InstaGAN: Instance-aware Image-to-Image Translation

Sangwoo Mo, Minsu Cho외 1명|arXiv (Cornell University)|2018. 12. 28.

Generative Adversarial Networks and Image Synthesis참고 문헌 44인용 수 99

한 줄 요약

InstaGAN은 인스턴스 분할 마스크를 이용해 맥락 보존 손실과 순차적 미니배치 학습으로 감독 없이 다중 인스턴스 이미지-대-이미지 변환을 수행합니다.

ABSTRACT

Unsupervised image-to-image translation has gained considerable attention due to the recent impressive progress based on generative adversarial networks (GANs). However, previous methods often fail in challenging cases, in particular, when an image has multiple target instances and a translation task involves significant changes in shape, e.g., translating pants to skirts in fashion images. To tackle the issues, we propose a novel method, coined instance-aware GAN (InstaGAN), that incorporates the instance information (e.g., object segmentation masks) and improves multi-instance transfiguration. The proposed method translates both an image and the corresponding set of instance attributes while maintaining the permutation invariance property of the instances. To this end, we introduce a context preserving loss that encourages the network to learn the identity function outside of target instances. We also propose a sequential mini-batch inference/training technique that handles multiple instances with a limited GPU memory and enhances the network to generalize better for multiple instances. Our comparative evaluation demonstrates the effectiveness of the proposed method on different image datasets, in particular, in the aforementioned challenging cases. Code and results are available in https://github.com/sangwoomo/instagan

연구 동기 및 목표

• 이미지-대-이미지 변환이 다수의 대상 인스턴스와 상당한 형태 변화 를 다루도록 동기를 부여한다.
• 인스턴스 정보(세그먼테이션 마스크)를 도입하여 변환 품질을 향상시킨다.
• 해당 속성의 번역 시 인스턴스 순서의 순열 불변성을 보장한다.
• 대상 인스턴스를 변형하는 동안 배경 맥락을 보존한다.
• 제한된 GPU 메모리 하에서 많은 인스턴스에 대해 학습 및 추론을 가능하게 한다.

제안 방법

• 인스턴스 속성 세트와 함께 이미지도 변환하고 인스턴스 순서에 대해 순열 불변인 아키텍처를 제안한다.
• 합산을 통해 속성 집합이 순열 불변 연산으로 집계되는 공동 특징 표현으로 이미지와 인스턴스 속성을 인코드한다.
• XY와 YX의 양방향 매핑을 학습하기 위해 사이클 일관성 기반 GAN 프레임워크를 사용한다.
• 대상 인스턴스 변환과 배경 콘텐츠 보존에 중점을 둔 맥락 보존 손실을 도입한다.
• 많은 인스턴스를 제한된 GPU 메모리로 다루기 위한 순차 미니배치 변환 기법을 개발하고 중간 샘플을 통한 데이터 증강을 제공한다.

실험 결과

연구 질문

• RQ1 세그먼테이션 마스크와 같은 인스턴스 수준 정보를 비감독 이미지-대-이미지 변환에 통합하여 다중 인스턴스와 형태 변화 를 다루는 방법은?
• RQ2 맥락 보존 손실이 다중 인스턴스 시나리오에서 배경 충실도와 인스턴스 변환 품질을 향상시키는가?
• RQ3 순차 미니배치 변환이 메모리 제약 하에서 다수의 인스턴스를 대상으로 학습 및 추론을 가능하게 하면서 순열 불변성을 보존할 수 있는가?

주요 결과

• CCP, MHP, COCO 데이터셋에서 다중 인스턴스 변환 작업에서 CycleGAN보다 우수하게 작동한다.
• 모양 인식이 더 뛰어나고 인스턴스의 레이아웃 및 시각 방향을 보존한다.
• 맥락 보존 손실은 배경 보존과 변환 품질을 향상시키며 단지 배경 유지 그 이상이다.
• 순차 미니배치 변환은 많은 인스턴스로 학습을 가능하게 하고 일반화 향상을 위한 데이터 증강 역할을 한다.
• 이 방법은 입력 마스크에 조건을 걸어 어떤 인스턴스를 번역할지 제어할 수 있게 한다.