[논문 리뷰] SEIGAN: Towards Compositional Image Generation by Simultaneously Learning to Segment, Enhance, and Inpaint

Pavel Ostyakov, Roman Suvorov외 3명|arXiv (Cornell University)|2018. 11. 19.

Generative Adversarial Networks and Image Synthesis참고 문헌 33인용 수 16

한 줄 요약

SEIGAN은 경계 상자 감독만을 사용하여 동시에 영역 분할, 향상 및 메시징을 학습하는 엔드 투 엔드 생성적 적대적 네트워크를 제안한다. 사이클 일관성과 적대적 훈련을 활용하여 지도 없는 마스크가 없어도 최신 기술 수준의 분할 mIoU와 인간 평가에서 뛰어난 시각적 품질을 달성한다.

ABSTRACT

We present a novel approach to image manipulation and understanding by simultaneously learning to segment object masks, paste objects to another background image, and remove them from original images. For this purpose, we develop a novel generative model for compositional image generation, SEIGAN (Segment-Enhance-Inpaint Generative Adversarial Network), which learns these three operations together in an adversarial architecture with additional cycle consistency losses. To train, SEIGAN needs only bounding box supervision and does not require pairing or ground truth masks. SEIGAN produces better generated images (evaluated by human assessors) than other approaches and produces high-quality segmentation masks, improving over other adversarially trained approaches and getting closer to the results of fully supervised training.

연구 동기 및 목표

• 구성적 이미지 생성을 위한 통합된 딥 러닝 프레임워크를 개발하여 분할, 객체 향상, 배경 메시징을 통합한다.
• 지상 진술 분할 마스크나 쌍체 훈련 데이터가 필요 없는 약한 감독—특히 경계 상자 애너테이션만을 사용하여 모델을 훈련한다.
• 공통 최적화와 사이클 일관성으로 생성된 이미지의 시각적 품질과 분할 마스크의 정확도를 향상시킨다.
• 단일 모델이 자르기, 붙이기, 복원 작업을 의미적으로 일관되게 수행할 수 있도록 엔드 투 엔드 훈련을 가능하게 한다.

제안 방법

• SEIGAN은 분할, 향상, 메시징에 대해 공유된 인코더-디코더 구성 요소를 가진 GAN 기반 아키텍처를 사용하며, 엔드 투 엔드로 훈련된다.
• 모델은 객체를 잘라내고 배경을 복원했을 때 원래 이미지로 복귀하도록 보장하기 위해 사이클 일관성 손실을 사용한다. 이는 구조적 일관성을 향상시킨다.
• 생성된 이미지의 현실성 평가를 위해 판별자와 함께 적대적 훈련을 활용하여 시각적 품질을 향상시킨다.
• 분할은 생성자 헤드가 객체 마스크를 출력함으로써 수행되며, 이 마스크는 객체 붙이기와 배경 메시징을 안내하는 데 사용된다.
• 훈련 파이프라인은 이미지에서 무작위 컷을 사용하여 객체와 배경 쌍을 시뮬레이션하며, 경계 상자로 감독한다.
• 새로운 손실 함수는 적대적 손실, 존재성 손실(객체 존재 여부 확인), 그리고 잘라내기 손실(객체 완전 제거 보장)을 결합한다.

실험 결과

연구 질문

• RQ1 경계 상자 감독만으로도 단일 딥 생성 모델이 분할, 이미지 향상, 배경 메시징을 동시에 학습할 수 있는가?
• RQ2 이 세 가지 작업을 공동으로 훈련하면 별도로 훈련하는 것보다 분할 정확도와 이미지 품질이 향상되는가?
• RQ3 사이클 일관성 손실은 생성된 이미지 품질과 분할 마스크의 강건성에 어떤 영향을 미치는가?
• RQ4 경계 상자로 약한 감독을 하면 지도 학습 방법에 가까운 성능을 분할 및 이미지 생성에서 달성할 수 있는가?

주요 결과

• SEIGAN은 COCO와 Cityscapes에서 경쟁적인 평균 교차율(mIoU) 점수를 기록했으며, NoCycle 기준선을 능가하고 지도 학습 모델에 가까워졌다.
• COCO에서 SEIGAN은 mIoU 0.762를 기록했으며, NoCycle의 0.723과 비교해 뛰어나고, 지도 학습 기준선의 0.830에 근접했다.
• Cityscapes에서 SEIGAN은 mIoU 0.802를 기록했으며, NoCycle의 0.754와 비교해 뛰어나고, 지도 학습 기준선의 0.867에 근접했다.
• 사람 평가 결과, 지상 진술 마스크가 없더라도 SEIGAN이 기준선 방법보다 더 뛰어난 시각적 품질의 이미지를 생성하는 것으로 확인되었다.
• 사이클 일관성 손실의 사용은 아블레이션 스터디를 통해 분할 정확도와 이미지 현실감을 크게 향상시켰다.
• SEIGAN은 지상 진술 애너테이션 없이도 고품질의 분할 마스크를 생성하여 이질적인 데이터셋에서도 강력한 일반화 능력을 보였다.