[논문 리뷰] Example-Guided Style Consistent Image Synthesis from Semantic Labeling

Miao Wang, Guo-Ye Yang외 5명|arXiv (Cornell University)|2019. 06. 04.

Generative Adversarial Networks and Image Synthesis참고 문헌 49인용 수 13

한 줄 요약

이 논문은 정의된 레이블 맵에서 예시 기반, 스타일 일관성 있는 이미지 생성을 위한 조건부 GAN 프레임워크를 제안한다. 새로운 스타일 일관성 판별자, 적응형 의미 일관성 손실, 데이터 샘플링 전략을 사용한다. 이 방법은 얼굴, 춤, 스트리트 뷰 생성 작업 전반에서 사진처럼 생긴, 의미적으로 정확하고 스타일 일관성이 확보된 결과를 도출하며, 정성적 및 정량적 평가에서 이전 방법들을 능가한다.

ABSTRACT

Example-guided image synthesis aims to synthesize an image from a semantic label map and an exemplary image indicating style. We use the term "style" in this problem to refer to implicit characteristics of images, for example: in portraits "style" includes gender, racial identity, age, hairstyle; in full body pictures it includes clothing; in street scenes, it refers to weather and time of day and such like. A semantic label map in these cases indicates facial expression, full body pose, or scene segmentation. We propose a solution to the example-guided image synthesis problem using conditional generative adversarial networks with style consistency. Our key contributions are (i) a novel style consistency discriminator to determine whether a pair of images are consistent in style; (ii) an adaptive semantic consistency loss; and (iii) a training data sampling strategy, for synthesizing style-consistent results to the exemplar.

연구 동기 및 목표

• 입력 레이블 맵과 일치하는 의미적 일관성과 동시에 예시 이미지와 스타일이 일치하는 사진처럼 생긴 이미지를 생성하는 데 도전하는 것.
• 고해상도 생성에서 의미적 충실도를 유지하면서도 예시 스타일을 유지하지 못하는 기존 방법의 한계를 극복하는 것.
• 짝지어진 진짜 이미지가 필요 없이 영상 데이터를 활용해 스타일 일관성을 학습할 수 있는 약한 지도 학습 전략을 개발하는 것.
• 포트레이트, 전신 자세, 시나리오 분석 등 다양한 도메인에서 예시 기반의 탄력적인 생성을 가능하게 하는 것.
• 강력한 스타일 및 의미 일관성을 확보한 이미지 생성에서 최신 기술 성능을 달성하는 것.

제안 방법

• 패치 기반 적대적 손실을 사용해 생성된 이미지와 예시 이미지가 동일한 스타일을 공유하는지 평가하는 스타일 일관성 판별자를 도입한다.
• 레이블 맵의 충실도를 유지하는 데 중요한 기능을 기반으로 가중치를 동적으로 조정하는 적응형 의미 일관성 손실을 제안한다.
• 영상 시퀀스에서 스타일 일관성과 스타일 비일관성을 동시에 가진 이미지 쌍을 선택하는 데이터 샘플링 전략을 적용하여 스타일 판별자를 훈련시킨다.
• 사진처럼 생긴 결과를 확보하면서 스타일 인식 구성 요소를 통합하기 위해 pix2pixHD 아키텍처를 기반으로 한다.
• 생성자는 의미 레이블 맵과 예시 이미지를 입력으로 받아 스타일이 부여된 현실적인 출력을 생성하는 조건부 GAN 프레임워크를 사용한다.
• 적대적, 인지적(VGG), 의미 일관성 손실을 조합한 다성분 손실을 적용하여 생성자를 최적화한다.

실험 결과

연구 질문

• RQ1 조건부 GAN 프레임워크는 추상적인 의미 레이블 맵에서 생성된 사진처럼 생긴 출력 이미지가 예시 이미지의 스타일을 효과적으로 유지할 수 있는가?
• RQ2 모든 레이블-예시 조합에 대해 짝지어진 진짜 이미지가 필요 없이 스타일 일관성을 어떻게 강제할 수 있는가?
• RQ3 의미 일관성과 스타일 일관성을 동시에 확보하기 위해 가장 효과적인 손실 구성 요소와 훈련 전략은 무엇인가?
• RQ4 모델은 얼굴, 춤 자세, 스트리트 경관과 같은 새로운 예시와 다양한 도메인으로 일반화될 수 있는가?
• RQ5 제안된 방법은 기존의 이미지 간 번역 및 스타일 전이 접근법과 정량적·정성적으로 비교해 볼 때 어떻게 성능을 내는가?

주요 결과

• 스케치 → 얼굴 생성 작업에서 제안된 방법은 Fréchet Inception Distance(FID) 31.26을 기록하여 pix2pixHD 및 PairedMUNIT를 포함한 베이스라인을 능가했다.
• 사람 선호도 연구에서 제안된 방법은 스타일 일관성에서 PairedMUNIT 대비 90.88%의 비교에서 선호되었고, pix2pixHD 대비 89.12%로 선호되었다.
• 절단 실험 결과, 적응형 가중치를 제거하면 FID가 35.59로 증가했고, 스타일 일관성 적대적 손실을 제거하면 FID가 58.08로 증가하여 이들의 중요성을 확인했다.
• 스트리트 뷰 생성 작업에서 의미 일관성 점수(SPS)는 0.333을 기록하여 pix2pixHD(0.310)와 PairedMUNIT(0.160)를 모두 능가했다.
• 생성된 이미지와 예시 간의 VGG 특징 거리가 0.643이었으며, 이는 강한 인지적 유사성을 나타내며, 의미 일관성 손실을 제거하면 이 값이 0.898로 증가했다.
• 정성적 결과는 예시와 레이블 맵의 내용이 배경이나 환경 세부 정보에서 완벽하게 일치하지 않더라도 모델이 현실적이고 스타일 일관성이 확보된 이미지를 생성할 수 있음을 보여준다.