[논문 리뷰] MixNMatch: Multifactor Disentanglement and Encoding for Conditional Image Generation

Yuheng Li, Krishna Kumar Singh외 2명|arXiv (Cornell University)|2019. 11. 26.

Generative Adversarial Networks and Image Synthesis참고 문헌 45인용 수 6

한 줄 요약

MixNMatch는 훈련 중에 바운딩 박스 애너테이션만을 사용하여 실제 이미지에서 배경, 객체 자세, 형태, 텍스처를 분리하고 인코딩하는 조건부 생성 모델이다. FineGAN 위에 적대적이고 통합된 이미지-코드 분포 매칭을 적용하여 고해상도의 믹스앤매치 이미지 생성을 가능하게 하며, 스케치2컬러 및 이미지2지피프 같은 다양한 응용 분야에서 최신 기술 수준의 분리 및 제어 가능한 합성 성능을 달성한다.

ABSTRACT

We present MixNMatch, a conditional generative model that learns to disentangle and encode background, object pose, shape, and texture from real images with minimal supervision, for mix-and-match image generation. We build upon FineGAN, an unconditional generative model, to learn the desired disentanglement and image generator, and leverage adversarial joint image-code distribution matching to learn the latent factor encoders. MixNMatch requires bounding boxes during training to model background, but requires no other supervision. Through extensive experiments, we demonstrate MixNMatch's ability to accurately disentangle, encode, and combine multiple factors for mix-and-match image generation, including sketch2color, cartoon2img, and img2gif applications. Our code/models/demo can be found at https://github.com/Yuheng-Li/MixNMatch

연구 동기 및 목표

• 실제 이미지에서 배경, 객체 자세, 형태, 텍스처라는 네 가지 핵심 요소를 분리하여 세밀하고 제어 가능한 이미지 생성을 가능하게 하기 위해.
• 배경 모델링을 위한 바운딩 박스 애너테이션 외에 강력한 인간의 감독 없이도 이 분리를 달성하기 위해.
• 실제 이미지와 생성된 이미지 간의 도메인 갭을 줄이기 위해 적대적 학습을 통해 통합된 이미지-코드 분포를 정렬함으로써.
• 스케치2컬러, 캐릭터2이미지, 이미지2지피프와 같은 다양한 조건부 이미지 생성 작업을 분리된 요소 제어를 통해 지원하기 위해.
• 학습된 표현을 사용하여 분리도 및 객체 카테고리 군집화에서 최신 기술 수준의 성능을 입증하기 위해.

제안 방법

• 배경, 자세, 형태, 텍스처에 특화된 네 가지 요소별 인코더를 도입하여, 계층적 분리를 수행하는 무조건적 생성 모델인 FineGAN을 확장한다.
• 실제 이미지-코드 쌍과 생성된 이미지-코드 쌍 간의 적대적이고 통합된 이미지-코드 분포 매칭을 적용하여 분리를 강화한다. ALI 및 BiGAN과 유사하다.
• 저차원 잠재 코드를 사용하는 코드 모드와 고차원 특징을 분리된 공간으로 매핑하는 특징 모드를 활용하여 세밀한 형태와 자세 정보를 유지한다.
• 실제 이미지 특징과 생성된 이미지 특징을 정렬하기 위해 쌍체 적대적 손실을 적용하고, 특징 모드에서는 충실도를 확보하기 위해 L1 재구성 손실을 사용한다.
• 코드 재예측 손실과 코드 제약 조건을 도입하여 코드 모드에서 학습을 안정화시키고 분리도를 향상시킨다.
• 패치 수준의 판별자를 사용하여 배경을 모델링함으로써, 정밀한 애너테이션의 필요성을 최소화한다.

실험 결과

연구 질문

• RQ1 바운딩 박스 감독만으로도 배경, 자세, 형태, 텍스처라는 네 가지 핵심 이미지 요소를 분리할 수 있는 조건부 생성 모델은 가능한가?
• RQ2 강력한 감독 없이도 적대적이고 통합된 이미지-코드 분포 매칭이 실제 이미지의 분리된 인코딩을 얼마나 효과적으로 가능하게 하는가?
• RQ3 다른 기준 이미지에서 온 요소들을 조합할 때 MixNMatch는 형태와 텍스처를 얼마나 잘 유지하는가?
• RQ4 코드 기반 인코딩에 비해 특징 모드가 분리도 충실도를 얼마나 향상시키는가?
• RQ5 MixNMatch는 스케치2컬러 및 이미지2지피프와 같은 다양한 응용 분야에서 고품질이고 제어 가능한 이미지 생성을 가능하게 할 수 있는가?

주요 결과

• MixNMatch는 형태와 텍스처 분리에서 가장 낮은 키포인트 L2 거리(16.29)와 가장 낮은 색상 히스토그램 카이제곱 거리(0.565)를 기록하여 Deforming AE, SC-GAN, FineGAN 등의 베이스라인을 능가한다.
• MixNMatch의 특징 모드는 가장 뛰어난 형태 분리 성능(16.29 L2 거리)을 기록하며, 코드 모드(20.57) 및 기타 베이스라인보다 뚜렷하게 뛰어나다.
• 제거 실험 결과, 특징 모드에서는 적대적 손실과 L1 손실이 모두 필수적이며, 코드 모드에서는 쌍체 적대적 손실이 올바른 분리에 핵심적임을 확인했다.
• MixNMatch는 세밀한 객체 카테고리 군집화에서 최신 기술 수준의 성능을 달성하여, 학습된 분리 표현의 품질을 입증했다.
• 스케치2컬러, 캐릭터2이미지, 이미지2지피프 등 다양한 응용 분야에서 고시각적 충실도와 제어 가능성을 성공적으로 실현했다.
• 쌍체 적대적 손실이 없을 경우 분리도가 심각하게 떨어지며(L2 거리: 60.41), 이는 도메인 정렬을 위해 필수적임을 확인했다.