[논문 리뷰] Unpaired High-Resolution and Scalable Style Transfer Using Generative Adversarial Networks

Andrej Junginger, Markus Hanselmann외 4명|arXiv (Cornell University)|2018. 10. 10.

Generative Adversarial Networks and Image Synthesis참고 문헌 2인용 수 6

한 줄 요약

이 논문은 전체 이미지가 아닌 겹치는 다운스케일링된 이미지 서브샘플에서 훈련하고 추론하는 방식으로, 생성적 적대적 네트워크(GANs)를 사용하여 확장 가능하고 고해상도의 일치하지 않는 이미지 스타일 전이 방법을 제안한다. 이 방법은 표준 GPU를 사용하여 50MB 이상의 해상도를 갖는 이미지에서 고 fidelity 스타일 전이를 가능하게 하며, 국소적 세부 정보와 전반적인 일관성을 유지하면서 피크 메모리 소비와 훈련 데이터 요구량을 크게 줄인다.

ABSTRACT

Neural networks have proven their capabilities by outperforming many other approaches on regression or classification tasks on various kinds of data. Other astonishing results have been achieved using neural nets as data generators, especially in settings of generative adversarial networks (GANs). One special application is the field of image domain translations. Here, the goal is to take an image with a certain style (e.g. a photography) and transform it into another one (e.g. a painting). If such a task is performed for unpaired training examples, the corresponding GAN setting is complex, the neural networks are large, and this leads to a high peak memory consumption during, both, training and evaluation phase. This sets a limit to the highest processable image size. We address this issue by the idea of not processing the whole image at once, but to train and evaluate the domain translation on the level of overlapping image subsamples. This new approach not only enables us to translate high-resolution images that otherwise cannot be processed by the neural network at once, but also allows us to work with comparably small neural networks and with limited hardware resources. Additionally, the number of images required for the training process is significantly reduced. We present high-quality results on images with a total resolution of up to over 50 megapixels and emonstrate that our method helps to preserve local image details while it also keeps global consistency.

연구 동기 및 목표

• 표준 하드웨어에서 고해상도 이미지(예: 50MB 이상)를 일치하지 않는 이미지 간 번역에 처리하는 데 있어 높은 피크 메모리 소비로 인한 제약을 해결한다.
• 고해상도 이미지 번역 작업에서 대규모 신경망과 높은 메모리 사용량으로 인한 훈련 및 추론의 성능 저하 문제를 해결한다.
• 단일 데스크톱 GPU와 같은 제한된 하드웨어 자원을 사용하여 초고해상도 이미지에서 고품질의 스타일 전이를 가능하게 한다.
• 효율적이고 확장 가능한 훈련을 위해 겹치는 무작위 서브샘플을 활용하여 필요한 훈련 이미지 수를 줄인다.
• 모델이 전체 이미지를 훈련 중에 본 바 없더라도 국소적 이미지 세부 정보와 전반적인 구조적 일관성을 유지한다.

제안 방법

• 훈련 및 추론 중에 고해상도 이미지를 고정된 작은 크기(예: 256×256 픽셀)의 겹치는 무작위 서브샘플로 나눈다.
• 전체 이미지가 아닌 이러한 작은 다운스케일링된 서브샘플에서 GAN 생성자와 판별기를 훈련시어 피크 메모리 소비를 크게 줄인다.
• 각 서브샘플에서 고품질 번역을 보장하기 위해 인스턴스 정규화와 잔여 블록을 사용한 유사 Unit GAN 아키텍처를 사용한다.
• 완성된 모델을 전체 이미지의 겹치는 서브샘플에 적용하고, 균일한 블렌딩 전략을 사용하여 결과를 융합하여 균일한 무늬를 방지하고 일관성을 유지한다.
• 전체 이미지의 일부만 훈련에 사용되더라도, 중요한 콘텐츠가 제외되지 않는 한, 모델이 이미지의 볼 수 없는 영역으로 일반화될 수 있도록 한다.
• 각 서브샘플에 고정된 수신 필드를 사용하여 국소 세부 정보의 정확성을 유지하면서 겹치는 맥락을 통해 전반적인 일관성을 확보한다.

실험 결과

연구 질문

• RQ1 대규모 GPU 클러스터나 고성능 하드웨어 없이도 고해상도 이미지(예: 50MB 이상)에서 일치하지 않는 이미지 스타일 전이를 효과적으로 수행할 수 있는가?
• RQ2 겹치는 작은 서브샘플로 이미지를 처리하면 피크 메모리 소비는 감소하지만 번역 품질은 유지되는가?
• RQ3 작은 무작위 서브샘플에서 훈련된 GAN 모델이 전체 고해상도 이미지로 일반화되어 보이지 않는 아티팩트 없이 작동하는가?
• RQ4 서브샘플 크기의 선택이 국소적 이미지 세부 정보 보존과 전반적인 구조적 일관성 유지에 어떤 영향을 미치는가?
• RQ5 제안된 방법은 고해상도 도메인에서 성능을 유지하면서도 필요한 훈련 이미지 수를 크게 줄일 수 있는가?

주요 결과

• 이 방법은 50MB 이상의 해상도(예: 15,884×3,271 픽셀)를 갖는 이미지에서 성공적으로 일치하지 않는 스타일 전이를 수행했으며, 표준 GPU에서 전체 이미지 처리로는 달성할 수 없는 고품질 결과를 얻었다.
• 단일 Nvidia Quadro GPU에서 훈련과 추론이 약 1일 내로 완료되어 소비자용 하드웨어에서도 구현 가능함을 입증했다.
• 훈련 중에 본 바 없는 영역을 번역할 때도 미세한 국소적 세부 정보(예: 질감, 윤곽선)를 유지하면서 전반적인 이미지 일관성을 확보했다.
• 작은 서브샘플은 국소 마이크로 구조 보존에 기여했고, 더 큰 서브샘플은 전반적인 일관성에 유리했으며, 이는 조정 가능한 트레이드오프임을 시사했다.
• 다양한 도메인, 특히 매우 다른 스타일(예: 사진에서 그림으로)으로도 잘 일반화되었으며, 볼 수 없는 이미지 영역에서 아티팩트나 잘못된 번역이 없었다.
• 각 서브샘플이 독립적인 훈련 예시로 작용하므로, 데이터 효율성이 향상되어 필요한 훈련 데이터 볼륨을 크게 줄였다.