[논문 리뷰] IMAGINE: Image Synthesis by Image-Guided Model Inversion

Pei Wang, Yijun Li외 3명|arXiv (Cornell University)|2021. 04. 13.

Generative Adversarial Networks and Image Synthesis참고 문헌 47인용 수 5

한 줄 요약

IMAGINE는 사전 훈련된 분류기와 이미지 가로지기 모델 역행을 활용하여 단일 기준 이미지에서 다양하고 고품질의 이미지를 생성하는 새로운 이미지 합성 방법을 제안한다. 다중 수준의 특징 매칭과 적대적 훈련을 통해 의미 일관성을 강제함으로써 생성자 훈련 없이도 현실적인 결과를 도출하며, 형태, 스타일, 의미적 요소에 대한 직관적인 제어를 가능하게 한다.

ABSTRACT

We introduce an inversion based method, denoted as IMAge-Guided model INvErsion (IMAGINE), to generate high-quality and diverse images from only a single training sample. We leverage the knowledge of image semantics from a pre-trained classifier to achieve plausible generations via matching multi-level feature representations in the classifier, associated with adversarial training with an external discriminator. IMAGINE enables the synthesis procedure to simultaneously 1) enforce semantic specificity constraints during the synthesis, 2) produce realistic images without generator training, and 3) give users intuitive control over the generation process. With extensive experimental results, we demonstrate qualitatively and quantitatively that IMAGINE performs favorably against state-of-the-art GAN-based and inversion-based methods, across three different image domains (i.e., objects, scenes, and textures).

연구 동기 및 목표

• 기존의 GAN 기반 및 역행 기반 방법이 단일 기준 이미지에서 의미적으로 유의미한 변형을 생성하는 데에 한계가 있음을 해결한다.
• 분류기 역행 방법이 특정 이미지의 변형이 아닌 일반적인 클래스 수준의 이미지만 생성하는 데서 비특이성 문제를 해결한다.
• 사전 훈련된 분류기와 적대적 최적화를 활용하여 전용 생성자를 훈련하지 않고도 고해상도이고 다양한 이미지 합성을 가능하게 한다.
• 다양한 네트워크 계층에서의 특징 통계 조작을 통해 사용자에게 직관적인 이미지 합성 제어를 제공한다.
• 모델 역행의 응용을 이미지 복원을 넘어서 의미 편집, 스타일 전이, 반대가정 설명까지 확장한다.

제안 방법

• 기준 이미지에서 다중 수준의 특징 표현을 사전 훈련된 분류기(예: ResNet-50)를 통해 추출하여 합성에 대한 의미적 제약 조건으로 활용한다.
• 분포 매칭 정규화를 통해 기준 이미지의 특징 분포가 분류기의 여러 계층에서 일치하도록 합성 이미지를 최적화한다.
• 합성 이미지와 판별기 가중치를 번갈아 최적화함으로써 적대적 훈련을 도입하여 생성자 훈련 없이도 현실감 있는 결과를 향상시킨다.
• 다른 네트워크 깊이에서의 목표 특징 통계를 조작함으로써 형태 또는 정체성 변경이 가능한 의미 제어를 구현한다.
• 스틸 이미지의 통계를 사용해 특징 매칭 정규화를 대체함으로써 스타일 전이를 지원하며, 저수준 계층을 활용해 스타일 주입을 이끌어낸다.
• 반대가정 설명을 위해 영역 기반 기여도 마스크와 특징 매칭을 결합하여 반대가정 이미지의 분류적 영역을 쿼리 이미지로 이동시킨다.

실험 결과

연구 질문

• RQ1 사전 훈련된 분류기의 모델 역행을 참조 가이드드 이미지 합성에 효과적으로 재사용할 수 있을까? 이때 의미 일관성이 유지되는가?
• RQ2 생성자 훈련 없이도 적대적 훈련을 이미지 최적화 파이프라인에 통합하여 현실감을 향상시킬 수 있는가?
• RQ3 다양한 네트워크 깊이에서의 특징 통계는 형태나 정체성과 같은 의미적 속성에 대해 얼마나 직관적인 제어를 가능하게 하는가?
• RQ4 패치 기반 방법인 SinGAN이 실패하는 비반복적이고 고의미적 콘텐츠를 가진 이미지에 대해 이 방법은 일반화 가능한가?
• RQ5 동일한 최적화 프레임워크를 활용해 스타일 전이 및 반대가정 시각적 설명과 같은 추가 응용을 지원할 수 있는가?

주요 결과

• IMAGINE는 객체, 풍경, 질감 등 다양한 영역에서 최신의 GAN 기반 및 역행 기반 방법보다 더 높은 품질과 더 많은 다양성을 가진 이미지를 생성한다.
• SinGAN이 의미 정체성과 구조를 상실하여 실패하는 비반복적 이미지—예를 들어 오리오니, 골드피시—에 대해서도 성공적으로 생성한다.
• 다른 계층에서 특징 통계를 조작함으로써 IMAGINE는 클립아트 기반 참조에서 윤곽이 수정된 객체를 생성하는 형태 편집을 가능하게 한다.
• 적대적 훈련 통합은 기준 분류기 역행 대비 상당한 현실감 향상을 이끌어내어 인지적으로 타당한 결과를 달성한다.
• 스틸 이미지의 저수준 특징 통계로 대체함으로써 스타일 전이가 효과적으로 수행되며, 목표 이미지의 스타일 변형을 생성한다.
• 반대가정 설명은 반대가정 이미지의 분류적 영역을 쿼리 이미지로 이동시켜 국소화되고 의미적으로 유의미한 직관적인 이미지 공간 설명을 제공한다.