[논문 리뷰] Controllable Artistic Text Style Transfer via Shape-Matching GAN

Shuai Yang, Zhangyang Wang외 4명|arXiv (Cornell University)|2019. 05. 03.

Generative Adversarial Networks and Image Synthesis참고 문헌 32인용 수 18

한 줄 요약

이 논문은 단일 스타일 이미지에서 페어드 훈련 데이터 없이 다중 척도의 형태 매핑을 학습함으로써 가독성을 유지하면서 고품질이고 다양한 스타일화된 텍스트를 생성할 수 있도록 하는 제어 가능한 예술적 텍스트 스타일 전이를 위한 형태 매칭 GAN을 제안한다. 이는 새로운 이중 방향 형태 매칭 프레임워크와 척도 제어 가능한 ResBlock 모듈을 통해 글리프 변형 정도를 실시간으로 조절할 수 있도록 한다.

ABSTRACT

Artistic text style transfer is the task of migrating the style from a source image to the target text to create artistic typography. Recent style transfer methods have considered texture control to enhance usability. However, controlling the stylistic degree in terms of shape deformation remains an important open challenge. In this paper, we present the first text style transfer network that allows for real-time control of the crucial stylistic degree of the glyph through an adjustable parameter. Our key contribution is a novel bidirectional shape matching framework to establish an effective glyph-style mapping at various deformation levels without paired ground truth. Based on this idea, we propose a scale-controllable module to empower a single network to continuously characterize the multi-scale shape features of the style image and transfer these features to the target text. The proposed method demonstrates its superiority over previous state-of-the-arts in generating diverse, controllable and high-quality stylized text.

연구 동기 및 목표

• 예술적 텍스트 스타일 전이에서 글리프 변형 정도에 대한 실시간 연속적 제어를 가능하게 하기 위해.
• 다중 척도의 글리프 스타일라이제이션을 위한 페어드 훈련 데이터 부족 문제를 해결하기 위해.
• 기본 변형 수준의 지도 없이 스타일 이미지와 타겟 글리프 간의 강력한 형태 매핑을 수립하기 위해.
• 참조 스타일과 높은 예술적 일致성을 달성하면서도 글리프의 가독성을 유지하기 위해.
• 다이나믹 타이포그래피 및 구조-텍스처 믹스업과 같은 다양한 창의적 응용을 지원하기 위해.

제안 방법

• 텍스트에서 스타일 이미지로의 형태 특징 전달(역방향)과 그 반대로의 전달(정방향)을 통해 강력한 다중 도메인 간 매핑을 수립하는 이중 방향 형태 매칭 전략을 제안한다.
• 스택 모듈을 도입하여 역방향 전달을 통해 스타일 이미지를 다수의 거친 수준으로 단순화함으로써 훈련을 위한 다중 척도 쌍 데이터를 생성한다.
• 생성된 쌍 데이터를 사용하여 연속적인 변형 수준의 스타일 특징을 추론할 수 있도록 제어 가능한 ResBlock 모듈을 설계한다.
• 글리프 네트워크(형태 전달용)와 별도의 텍스처 네트워크(텍스처 합성용)로 구성된 이중 분지 네트워크 아키텍처를 활용하여 분리된 제어를 가능하게 한다.
• 고도의 변형 상황에서도 획 구조와 몸통의 무결성을 유지하기 위해 글리프 가독성 손실을 사용하여 예술성과 인식 가능성의 균형을 맞춘다.
• 단일 기준 스타일 이미지를 활용하여 연속된 변형 파rameter를 통해 다양한 스타일화된 출력을 생성함으로써 실시간 사용자 상호작용을 지원한다.

실험 결과

연구 질문

• RQ1 페어드 훈련 데이터 없이 예술적 텍스트 스타일 전이에서 글리프 변형 정도를 어떻게 연속적으로 모델링하고 제어할 수 있는가?
• RQ2 다양한 변형 수준에서 소스 스타일 이미지와 타겟 글리프 간에 효과적으로 강력한 형태 대응을 수립하는 방법은 무엇인가?
• RQ3 단일 딥 네트워크가 실시간으로 조절 가능한 예술적 정도를 갖춘 다양한 고품질의 스타일화된 텍스트를 생성할 수 있는가?
• RQ4 예술적 텍스트 생성에서 높은 수준의 형태 변형 동안 가독성이 어떻게 유지될 수 있는가?
• RQ5 제안된 방법이 구조-텍스처 믹스업 및 스토크 기반 아트 디자인과 같은 창의적 응용을 지원할 수 있는가?

주요 결과

• 제안된 방법은 최신 기술 대비 뛰어난 스타일라이제이션 품질을 달성하였으며, 더 나은 형태 일致성과 텍스처 충실도를 보였다.
• 스케치 모듈은 형태 매칭 정확도를 크게 향상시켜 고도의 변형 수준에서도 정확한 윤곽선 변형을 가능하게 하였다.
• 글리프 가독성 손실은 고도의 변형 상황에서도 획의 구조를 효과적으로 유지하여 파손이나 비정상적인 변형을 방지하였으며, 정성적 비교에서 이를 확인할 수 있었다.
• 제어 가능한 ResBlock은 단일 파rameter를 통해 연속적이고 실시간으로 스타일 정도를 조절할 수 있도록 하여 사용자가 다양한 예술적 출력을 탐색할 수 있도록 하였다.
• 이 방법은 구조-텍스처 믹스업 및 스토크 기반 아트 디자인과 같은 새로운 응용을 성공적으로 지원하였으며, 표준 텍스트를 초월한 일반화 능력을 입증하였다.
• 제거 실험을 통해 스케치 모듈과 가독성 손실이 모두 고품질, 가독성 확보, 예술적으로 일관된 결과를 달성하는 데 필수적임을 확인하였다.