[논문 리뷰] ZM-Net: Real-time Zero-shot Image Manipulation Network

Hao Wang, Xiaodan Liang외 3명|arXiv (Cornell University)|2017. 03. 21.

Generative Adversarial Networks and Image Synthesis참고 문헌 21인용 수 28

한 줄 요약

ZM-Net는 실시간, 엔드 투 엔드로 미분 가능한 신경망으로, 다양한 지시 신호(예: 스타일 이미지 또는 텍스트 임bedding)로부터 변환 매개변수를 생성하는 매개변수 네트워크(PNet)와 이 매개변수를 콘텐츠 이미지에 적용하는 변환 네트워크(TNet)를 함께 훈련시켜 제로샷 이미지 조작을 가능하게 한다. 이는 단일 모델로 23,307개의 스타일 이미지를 포함한 다양한 입력에 대해 훈련되지 않은 신호에도 불구하고 고화질, 실시간 이미지 조작(초당 수십 밀리초)을 달성한다.

ABSTRACT

Many problems in image processing and computer vision (e.g. colorization, style transfer) can be posed as 'manipulating' an input image into a corresponding output image given a user-specified guiding signal. A holy-grail solution towards generic image manipulation should be able to efficiently alter an input image with any personalized signals (even signals unseen during training), such as diverse paintings and arbitrary descriptive attributes. However, existing methods are either inefficient to simultaneously process multiple signals (let alone generalize to unseen signals), or unable to handle signals from other modalities. In this paper, we make the first attempt to address the zero-shot image manipulation task. We cast this problem as manipulating an input image according to a parametric model whose key parameters can be conditionally generated from any guiding signal (even unseen ones). To this end, we propose the Zero-shot Manipulation Net (ZM-Net), a fully-differentiable architecture that jointly optimizes an image-transformation network (TNet) and a parameter network (PNet). The PNet learns to generate key transformation parameters for the TNet given any guiding signal while the TNet performs fast zero-shot image manipulation according to both signal-dependent parameters from the PNet and signal-invariant parameters from the TNet itself. Extensive experiments show that our ZM-Net can perform high-quality image manipulation conditioned on different forms of guiding signals (e.g. style images and attributes) in real-time (tens of milliseconds per image) even for unseen signals. Moreover, a large-scale style dataset with over 20,000 style images is also constructed to promote further research.

연구 동기 및 목표

• 다양한 모odalities에서의 지시 신호(예: 스타일 이미지 또는 텍스트)에 대해 훈련되지 않은 신호에도 일반화되는 실시간 제로샷 이미지 조작 문제를 해결하기 위해.
• 재훈련 없이 단일 모델 내에서 20,000개 이상의 고유한 스타일 이미지를 처리할 수 있는 확장 가능한 프레임워크를 개발하기 위해.
• 예술적 스타일, 묘사적 특성 또는 단어 임베딩과 같은 임의의 신호에 기반한 고화질 이미지 조작을 가능하게 하되, 이러한 신호가 훈련 중에 나타나지 않았더라도 가능하게 하기 위해.
• 향후 제로샷 이미지 조작 연구를 지원하기 위해 23,307장의 이미지로 구성된 대규모이고 다양한 스타일 데이터셋을 구축하기 위해.

제안 방법

• ZM-Net는 조건부 이미지 조작을 위한 엔드 투 엔드로 완전히 미분 가능한 아키텍처로, 매개변수 네트워크(PNet)와 변환 네트워크(TNet)를 통합한다.
• PNet은 깊이 있는 합성곱 또는 완전 연결 구조에 잔차 연결을 적용하여, 스타일 이미지나 단어 임베딩과 같은 다양한 지시 신호(포함해 훈련 중에 보지 못한 신호)를 기반으로 계층적인 변환 매개변수를 생성한다.
• TNet는 이러한 신호에 의존하는 매개변수와 자체의 신호에 영향을 받지 않는 매개변수를 조합하여 입력 콘텐츠 이미지를 스타일이 적용된 출력으로 변환한다.
• 손실 네트워크는 지시 신호에 해당하는 이미지(예: '정오' 또는 '야간' 이미지)를 입력으로 받고, PNet은 신호(예: 단어 임베딩 또는 스타일 이미지)를 입력으로 받는다. 이에 기반해 콘텐츠 손실과 스타일 손실을 통합하여 모델을 훈련시킨다.
• 특징 추상화를 향상시키고 잡음 요소를 줄이기 위해 순차적 PNet 아키텍처를 사용하였으며, 정성적 결과에서 병렬 PNet보다 우수한 성능을 보였다.
• 이 프레임워크는 실시간 추론(초당 수십 밀리초)을 지원하여, 정적 이미지에서 실시간 이미지 애니메이션과 같은 응용이 가능하다.

실험 결과

연구 질문

• RQ1 단일 신경망이 스타일 이미지나 텍스트 특성과 같은 다양한 모달리티의 훈련되지 않은 지시 신호에 기반해 실시간 이미지 조작을 수행할 수 있는가?
• RQ2 '정오'와 '야간'에만 훈련된 제로샷 모델이 '아침'이나 '오후'와 같은 훈련 중에 보지 못한 신호에 대해 얼마나 잘 일반화되는가?
• RQ3 재훈련 없이도 20,000개 이상의 고유한 스타일 이미지를 처리할 수 있는 통합 모델이 고화질과 빠른 추론 속도를 유지할 수 있는가?
• RQ4 이 아키텍처는 오직 이미지 기반 훈련 데이터만으로도 단일 이미지의 실시간 애니메이션을 지원하는가?
• RQ5 PNet 아키텍처 선택(순차적 대비 병렬)이 제로샷 이미지 조작의 품질과 현실성에 어떤 영향을 미치는가?

주요 결과

• ZM-Net는 이미지당 수십 밀리초의 추론 시간으로 실시간 추론을 달성하여 상호작용 및 실시간 응용이 가능하다.
• 모델은 훈련 중에 보지 못한 지시 신호에 효과적으로 일반화된다: '정오'와 '야간'에 훈련된 후, 정교한 '아침'과 '오후' 뷰를 피지컬리티 없이 성공적으로 생성한다.
• 순차적 PNet의 사용은 병렬 PNet 대비 더 높은 품질의 결과를 얻게 하며, 특히 현실적인 조명과 색상 일관성을 유지하는 데 유리하다.
• 기본 특성의 압축된 단어 임베딩(2차원)을 사용한 훈련은 의미 기반 이미지 조작을 가능하게 하며, 예를 들어 낮 시간대 사진을 적절한 조명으로 야간 뷰로 변환할 수 있다.
• 23,307장의 스타일 이미지로 구성된 데이터셋은 더 작은 데이터셋 대비 테스트 손실을 거의 반으로 줄이며, 일반화 및 다양성 향상에 기여한다.
• ZM-Net는 재훈련 기반 방법과 유사한 이미지 품질을 제공하지만, 모델 미세조정이 필요로 하지 않아 강력한 제로샷 일반화 성능을 입증한다.