[논문 리뷰] Deep Single Image Manipulation

Yael Vinker, Eliahu Horwitz외 2명|arXiv (Cornell University)|2021. 05. 04.

Advanced Image Processing Techniques참고 문헌 18인용 수 10

한 줄 요약

이 논문은 단일 타겟 이미지로만 훈련하는 데에 복잡한 이미지 조작을 수행하는 딥 조건부 적대적 생성자(conditional adversarial generator)를 제안한다. 이는 광범위한 입력 증강(input augmentation)과 기본 표현(예: 윤곽선, 세그멘테이션)을 입력으로 활용한다. 이 방법은 대규모이고 다양한 데이터셋이 필요로 하지 않으며, 단일 이미지 조작 분야에서 최고의 성능을 달성한다.

ABSTRACT

Image manipulation has attracted much research over the years due to the popularity and commercial importance of the task. In recent years, deep neural network methods have been proposed for many image manipulation tasks. A major issue with deep methods is the need to train on large amounts of data from the same distribution as the target image, whereas collecting datasets encompassing the entire long-tail of images is impossible. In this paper, we demonstrate that simply training a conditional adversarial generator on the single target image is sufficient for performing complex image manipulations. We find that the key for enabling single image training is extensive augmentation of the input image and provide a novel augmentation method. Our network learns to map between a primitive representation of the image (e.g. edges and segmentation) to the image itself. At manipulation time, our generator allows for making general image changes by modifying the primitive input representation and mapping it through the network. We extensively evaluate our method and find that it provides remarkable performance.

연구 동기 및 목표

• 대규모이고 다양한 데이터셋이 없는 조건에서 딥 이미지 조작 모델을 훈련하는 데 도전하는 것.
• 훈련에 단일 타겟 이미지만을 사용하여 효과적인 이미지 조작을 가능하게 하는 것.
• 분포 기반 데이터 편향 없이 다양한 이미지 조작 작업에 일반화할 수 있는 방법을 개발하는 것.
• 입력 증강을 통해 단일 이미지로만 조건부 GAN을 훈련하는 가능성 탐색.

제안 방법

• 기본 표현(예: 윤곽선, 세그멘테이션)을 입력으로 사용하여 단일 타겟 이미지에서 조건부 적대적 생성자를 훈련한다.
• 입력 기본 표현에 광범위한 데이터 증강을 적용하여 다양한 훈련 예제를 시뮬레이션한다.
• 모델은 적대적 훈련을 통해 기본 표현에서 재구성된 이미지로 매핑하는 방식으로 학습한다.
• 추론 단계에서 사용자는 기본 표현을 수정한다(예: 윤곽선 또는 세그멘테이션 변경)하고, 훈련된 생성자를 통해 새로운 이미지 변형을 생성한다.
• 이미지의 현실성과 구조적 정밀도를 유지하기 위해 생성자에 대해 종단 간(end-to-end)으로 적대적 손실을 사용하여 훈련한다.
• 이 방법은 생성자가 기본 입력에 조건부로 작동하고, 실제 이미지와 생성된 이미지 간을 구분하도록 하는 조건부 GAN 프레임워크에 의존한다.

실험 결과

연구 질문

• RQ1 딥 신경망이 단일 타겟 이미지로만 효과적으로 이미지 조작을 훈련시킬 수 있는가?
• RQ2 광범위한 입력 증강이 복잡한 이미지 조작을 위한 단일 이미지 훈련에 얼마나 효과적인가?
• RQ3 단일 이미지로 훈련된 모델이 피팅 조정 없이 다양한 이미지 조작 작업에 일반화할 수 있는가?
• RQ4 기본 표현(윤곽선, 세그멘테이션)이 제어 가능한 이미지 생성을 가능하게 하는 데 어떤 역할을 하는가?

주요 결과

• 제안된 방법은 단일 이미지로만 훈련하여 높은 품질의 이미지 조작을 달성하며, 대규모 데이터셋이 필요로 하지 않는다.
• 광범위한 입력 증강은 단일 이미지 훈련에서 모델의 일반화 능력과 성능을 크게 향상시킨다.
• 기본 표현 입력을 수정함으로써 모델은 다양한 이미지 조작을 성공적으로 수행한다.
• 기존 방법들과 비교해 단일 이미지 조작 작업에서 최고의 성능을 보여준다.