[논문 리뷰] Internal Distribution Matching for Natural Image Retargeting.

Assaf Shocher, Shai Bagon외 2명|arXiv (Cornell University)|2018. 12. 01.

Generative Adversarial Networks and Image Synthesis참고 문헌 21인용 수 10

한 줄 요약

이 논문은 단일 자연 이미지의 내부 패치 분포를 학습하고 다양한 크기와 종횡비를 가진 고해상도 이미지를 유지하면서 국소적 구조를 보존하는 자기지도 학습 GAN인 InGAN을 제안한다. 입력 이미지에만 기반하여 훈련함으로써 모든 생성 출력에서 내부 통계적 DNA를 유지하는 비지도 이미지 리타겟팅을 가능하게 한다.

ABSTRACT

Generative Adversarial Networks (GANs) typically learn a distribution of images in a large image dataset, and are then able to generate new images from this distribution. However, each natural image has its own internal statistics, captured by its unique distribution of patches. In this paper we propose an Internal (InGAN) - an image-specific GAN - which trains on a single input image and learns its internal distribution of patches. It is then able to synthesize a plethora of new natural images of significantly different sizes, shapes and aspect-ratios - all with the same internal patch-distribution (same DNA) as the input image. In particular, despite large changes in global size/shape of the image, all elements inside the image maintain their local size/shape. InGAN is fully unsupervised, requiring no additional data other than the input image itself. Once trained on the input image, it can remap the input to any size or shape in a single feedforward pass, while preserving the same internal patch distribution. InGAN provides a unified framework for a variety of tasks, bridging the gap between textures and natural images.

연구 동기 및 목표

• 외부 데이터셋이나 쌍화된 훈련 데이터가 필요 없이 자연 이미지 리타겟팅 문제를 해결하기 위해.
• 단일 입력 이미지 내부의 패치 통계 분포를 학습하고 다양한 이미지 생성을 위해 유지하기 위해.
• 일관된 국소적 구조를 가진 이미지의 비지도 합성 기능을 통해 무늬와 자연 이미지 생성을 통합하기 위해.
• 단일 순방향 전파 단계 내에서 입력 이미지를 임의의 크기나 형태로 매핑하는 완전히 비지도 프레임워크 개발하기 위해.

제안 방법

• 단일 입력 이미지에서 추출한 패치들에만 기반하여 GAN을 훈련시어 내부 분포를 학습하기 위해.
• 입력 이미지의 내부 패치 통계와 일치하는 새로운 이미지를 합성하기 위해 생성망 네트워크를 사용하기 위해.
• 실제 패치와 생성된 패치를 모두 동일한 입력 이미지에서 유도하여, 진짜 패치와 생성된 패치를 구분하는 판별망을 사용하기 위해.
• 로컬 패치 분포가 원본 입력과 일치하는 이미지를 생성하도록 생성망을 최적화하기 위해.
• 목표 치수에 맞추기 위해 생성망의 잠재 코드를 최적화함으로써 이미지 리타겟팅을 수행하기 위해.
• 모델 훈련 후에 재학습 없이 단일 순방향 전파로 추론을 가능하게 하기 위해.

실험 결과

연구 질문

• RQ1 단일 이미지에만 기반하여 내부 패치 분포를 학습할 수 있는 GAN을 구축할 수 있는가?
• RQ2 이러한 모델은 다양한 크기와 종횡비를 가진 다양한 이미지를 생성하면서도 국소적 구조를 유지할 수 있는가?
• RQ3 다양한 전반적 치수를 가진 생성 이미지 간에도 패치의 내부 분포가 일관되게 유지되는가?
• RQ4 이러한 접근 방식은 외부 데이터나 감독 없이도 비지도 이미지 리타겟팅을 달성할 수 있는가?

주요 결과

• InGAN은 외부 데이터 없이 단일 입력 이미지의 내부 패치 분포를 성공적으로 학습하였다.
• 모델은 크기와 종횡비가 상당히 다른 이미지를 생성하면서도 국소적 구조와 무늬 일관성을 유지하였다.
• 모든 생성 이미지는 입력 이미지와 동일한 내부 패치 분포를 유지하여 이미지의 '유전자'를 효과적으로 보존하였다.
• 훈련 후 빠른 단일 단계 전파를 통해 이미지 리타겟팅이 가능하여 실용적 응용에 효율적이었다.