[논문 리뷰] Learning to Incorporate Texture Saliency Adaptive Attention to Image Cartoonization

Xiang Gao, Yuqi Zhang외 1명|arXiv (Cornell University)|2022. 08. 02.

Generative Adversarial Networks and Image Synthesis인용 수 4

한 줄 요약

이 논문은 텍스처-사전성 인식 지역에 초점을 맞춘 패치 수준의 적대적 학습 브랜치를 도입함으로써 캐릭터 스타일 전이를 향상시키는 새로운 엔드 투 엔드 GAN 기반 이미지 캐리커처화 방법을 제안한다. 새로운 캐릭터-텍스처-사전성-샘플러(CTSS) 모듈을 사용하여, 가장자리나 미세한 텍스처와 같은 고영향 지역 패치를 동적으로 식별하고 주목함으로써, 기존 최고 수준의 방법들에 비해 훨씬 향상된 FID 점수를 기록하는 더 생생하고 추상적인 캐리커처 출력을 가능하게 한다.

ABSTRACT

Image cartoonization is recently dominated by generative adversarial networks (GANs) from the perspective of unsupervised image-to-image translation, in which an inherent challenge is to precisely capture and sufficiently transfer characteristic cartoon styles (e.g., clear edges, smooth color shading, abstract fine structures, etc.). Existing advanced models try to enhance cartoonization effect by learning to promote edges adversarially, introducing style transfer loss, or learning to align style from multiple representation space. This paper demonstrates that more distinct and vivid cartoonization effect could be easily achieved with only basic adversarial loss. Observing that cartoon style is more evident in cartoon-texture-salient local image regions, we build a region-level adversarial learning branch in parallel with the normal image-level one, which constrains adversarial learning on cartoon-texture-salient local patches for better perceiving and transferring cartoon texture features. To this end, a novel cartoon-texture-saliency-sampler (CTSS) module is proposed to dynamically sample cartoon-texture-salient patches from training data. With extensive experiments, we demonstrate that texture saliency adaptive attention in adversarial learning, as a missing ingredient of related methods in image cartoonization, is of significant importance in facilitating and enhancing image cartoon stylization, especially for high-resolution input pictures.

연구 동기 및 목표

• 기존 GAN 기반 이미지 캐리커처화 방법에서 뚜렷한 가장자리나 추상 패턴과 같은 주요 캐리커처 텍스처 특징의 전달 부족 문제를 해결한다.
• 전역 적대적 손실의 한계를 극복한다. 이는 전역적인 부드러움과 색상 패턴의 지배로 인해 희박하고 고주파의 캐리커처 특징를 간과하기 때문이다.
• 모서리 다듬기나 추가 스타일 손실 항목과 같은 사전 처리 단계가 필요 없는 경량이고 엔드 투 엔드 프레임워크를 개발한다.
• 특히 고해상도 이미지에서 생생하고 고정밀도의 캐리커처 효과를 달성하기 위해, 텍스처-사전성 지역에 대한 적응형 주목이 필수적임을 입증한다.

제안 방법

• 전역 스타일 일관성(부드러운 그림자, 톤)을 위한 이미지 수준의 판별자와 국소 텍스처 패턴 학습을 위한 패치 수준의 판별자를 갖춘 이중 판별자 아키텍처를 제안한다.
• 기울기 기반 사전성 지ap을 바탕으로, 고캐리커처 텍스처 사전성 지역을 가진 국소 이미지 패치를 동적으로 샘플링하는 캐릭터-텍스처-사전성-샘플러(CTSS) 모듈을 도입한다.
• 패치 수준의 브랜치에서 CTSS에 의해 선택된 패치들에만 적대적 손실을 적용함으로써, 날카운 가장자리나 미세한 텍스처와 같은 두드러진 캐리커처 특징이 있는 영역에 학습을 집중시킨다.
• 패치 수준과 이미지 수준의 적대적 손실을 통합된 학습 목표에 통합하여 전역 일관성과 국소 스타일 전이 사이의 균형을 이룬다.
• 입력 이미지와 생성된 이미지 간의 콘텐츠 무결성을 유지하기 위해 표준 인지적 손실 및 신원 유지 손실(L1, 인지적 손실 등)을 사용한다.
• 다양한 입력 해상도에서의 강건성을 확보하기 위해 다중 척도 학습 전략을 활용하며, 특히 고해상도 입력에 유리하다.

실험 결과

연구 질문

• RQ1 주요 국소 영역에 초점을 맞춘 패치 수준의 적대적 학습이 전역 적대적 손실을 넘어서 캐리커처 스타일 전이를 향상시킬 수 있는가?
• RQ2 균일하거나 무작위 패치 샘플링 대비, 텍스처-사전성 패치의 적응형 샘플링이 더 생생하고 추상적인 캐리커처 출력을 이끌어낼 수 있는가?
• RQ3 복잡한 스타일 손실 구성 요소(예: 그람 손실, 평균-분산 손실)보다 단순한 패치 수준의 적대적 손실이 캐리커처 텍스처 패턴을 더 잘 포착할 수 있는가?
• RQ4 제안된 CTSS 모듈은 성능 향상에 필수적인가, 아니면 고정된 패치 샘플링만으로도 유사한 성능을 달성할 수 있는가?
• RQ5 고해상도 입력에서 제안된 방법은 최고 수준의 캐리커처화 모델들과 비교해 성능과 시각적 품질 면에서 어떻게 비교되는가?

주요 결과

• 전체 모델은 CSC 데이터셋에서 프레셰 이尼斯티에이션 디스턴스(FID) 115.25를 기록하여, 오직 이미지 수준 손실만을 사용하는 베이스라인(FID: 145.25)보다 뚜렷이 뛰어난 성능을 보였다.
• 패치 수준의 적대적 브랜치를 제거하면 FID가 29.98점 상승(115.25에서 145.25로)하여, 이는 스타일 전이에서 그 브랜치의 핵심적 역할을 확인한다.
• CTSS 모듈은 필수적이다. 이 모듈을 제거하고 균일한 패치 샘플링을 사용할 경우 FID는 127.09로 상승하여 전체 모델 대비 11.84점의 성능 저하가 발생한다.
• 세 가지 벤치마크 데이터셋(CSC, DB, TWR)에서 최고 수준의 성능을 기록하였으며, FID 점수는 각각 124.66, 112.97, 115.25였다.
• 정성적 결과에서는 더 뚜렷한 가장자리 선명도, 더 부드러운 색상 그라데이션, 더 추상적이고 캐리커처스러운 텍스처를 보였으며, 특히 고해상도 이미지와 복잡한 장면에서 두드러진다.
• 엣지 다듬기 사전 처리(예: CartoonGAN)나 추가 스타일 손실 항목(예: AnimeGAN)이 필요 없어, 더 우아하고 효율적인 성능을 달성한다.