[논문 리뷰] Collaging on Internal Representations: An Intuitive Approach for Semantic Transfiguration.

Ryôhei Suzuki, Masanori Koyama외 2명|arXiv (Cornell University)|2018. 11. 26.

Generative Adversarial Networks and Image Synthesis인용 수 3

한 줄 요약

이 논문은 훈련된 GAN의 내부 특징 표현을 조작하여 임의의 영역에서 이미지를 의미적으로 변형하는 새로운 CNN 기반 이미지 편집 방법을 소개한다. 공간 조건부 배치 정규화(spatial conditional batch normalization, sCBN)와 특징 블렌딩을 사용함으로써, 실사 이미지와 생성된 이미지 모두에서 직관적이고 영역별 의미 편집을 가능하게 하며, 조건부 정규화 레이어를 사용하는 모든 GAN과 호환된다.

ABSTRACT

We present a novel CNN-based image editing strategy that allows the user to change the semantic information of an image over an arbitrary region by manipulating the feature-space representation of the image in a trained GAN model. We will present two variants of our strategy: (1) spatial conditional batch normalization (sCBN), a type of conditional batch normalization with user-specifiable spatial weight maps, and (2) feature-blending, a method of directly modifying the intermediate features. Our methods can be used to edit both artificial image and real image, and they both can be used together with any GAN with conditional normalization layers. We will demonstrate the power of our method through experiments on various types of GANs trained on different datasets. Code will be available at this https URL.

연구 동기 및 목표

• 훈련된 GAN의 내부 특징 표현을 조작하여 실시간으로 영역별 의미 편집이 가능한 직관적인 이미지 편집을 가능하게 한다.
• 재학습이 필요 없이 다양한 GAN 아키텍처와 데이터셋에 적용 가능한 방법을 개발한다.
• 공간적으로 조건화된 특징 조절을 통해 사용자가 임의의 이미지 영역에서 의미적 콘텐츠를 직접 제어할 수 있도록 한다.
• 통합적이고 일반화 가능한 프레임워크를 통해 실사 이미지와 가짜 이미지 모두를 편집할 수 있도록 지원한다.

제안 방법

• 이 방법은 사용자가 정의한 공간적 가중치 맵을 특징 맵의 배치 정규화 통계에 적용하여 조건화하는 공간 조건부 배치 정규화(spatial conditional batch normalization, sCBN)를 사용한다.
• 특징 블렌딩을 도입하여 중간 특징 표현을 직접 수정함으로써 의미적 변화를 이룬다.
• sCBN와 특징 블렌딩은 조건부 정규화 레이어를 사용하는 모든 GAN 아키텍처와 호환된다.
• 이 방법은 잠재 특징 공간에서 작동하므로 생성자에 대한 미세조정이나 재학습 없이도 의미 편집이 가능하다.
• 사용자가 지정한 공간적 마스크가 수정 적용을 안내하여 국소화된 의미적 변형을 가능하게 한다.
• 이 프레임워크는 엔드 투 엔드로 미분 가능하며, 기존의 GAN 모델에 훈련 후 적용이 가능하다.

실험 결과

연구 질문

• RQ1 재학습 없이 훈련된 GAN의 내부 특징 표현을 조작하여 의미 편집을 달성할 수 있는가?
• RQ2 공간 조건부 배치 정규화(sCBN)는 사용자 제어가 가능한 영역별 이미지 편집에 얼마나 효과적인가?
• RQ3 특징 블렌딩은 시각적으로 일관되고 의미적으로 유의미한 이미지 수정을 생성할 수 있는가?
• RQ4 이 방법은 다양한 GAN 아키텍처와 데이터셋에 얼마나 일반화되는가?
• RQ5 sCBN와 특징 블렌딩의 조합은 이전 방법에 비해 편집 정밀도와 제어력을 얼마나 향상시키는가?

주요 결과

• 제안된 방법은 훈련된 GAN만을 사용하여 실사 이미지와 생성된 이미지 모두에 대해 직관적이고 영역별 의미 편집을 가능하게 한다.
• sCBN는 특징 조절에 대한 정밀한 공간적 제어를 가능하게 하여 사용자가 정의한 마스크에 따라 국소화된 의미적 변화를 이끈다.
• 특징 블렌딩은 중간 특징을 직접 조작하여 의미적 변형을 이루는 대체 가능한 편집 경로를 제공한다.
• 이 방법은 조건부 정규화 레이어를 사용하는 모든 GAN과 호환되어 광범위한 적용 가능성을 지닌다.
• 실험 결과 다양한 GAN과 데이터셋에서 일관된 성능을 보이며, 이 방법의 일반화 능력을 확인한다.
• 모델의 미세조정이나 재학습 없이도 높은 품질의 편집을 달성한다.