[논문 리뷰] GlyphGAN: Style-Consistent Font Generation Based on Generative Adversarial Networks

Hideaki Hayashi, Kohtaro Abe외 1명|arXiv (Cornell University)|2019. 05. 29.

Generative Adversarial Networks and Image Synthesis참고 문헌 36인용 수 12

한 줄 요약

GlyphGAN은 별도의 문자 클래스 벡터와 스타일 벡터를 사용하여 스타일 일관성을 유지하는 GAN 기반의 폰트 생성 방법을 제안한다. 이는 제어 가능하고 다양한, 읽기 쉬운 폰트 생성을 가능하게 하며, 이전 방법들인 Deep-fonts와 비교해 더 높은 읽기 가능성(83.90% 인식 정확도)과 더 높은 다양성(C_d = 0.61)을 달성하면서도 모든 문자에서 일관된 스타일을 유지한다.

ABSTRACT

In this paper, we propose GlyphGAN: style-consistent font generation based on generative adversarial networks (GANs). GANs are a framework for learning a generative model using a system of two neural networks competing with each other. One network generates synthetic images from random input vectors, and the other discriminates between synthetic and real images. The motivation of this study is to create new fonts using the GAN framework while maintaining style consistency over all characters. In GlyphGAN, the input vector for the generator network consists of two vectors: character class vector and style vector. The former is a one-hot vector and is associated with the character class of each sample image during training. The latter is a uniform random vector without supervised information. In this way, GlyphGAN can generate an infinite variety of fonts with the character and style independently controlled. Experimental results showed that fonts generated by GlyphGAN have style consistency and diversity different from the training images without losing their legibility.

연구 동기 및 목표

• 복잡한 스크립트(예: 일본어)와 같은 경우에 특히, 일관된 문자 집합을 생성하기 위한 수동 노동을 줄이고 폰트 디자인을 자동화하기 위해.
• 기계 학습을 통해 폰트 제작 시 디자이너의 암묵적인 지식을 포착하고 재현하기 위해.
• 딥 생성 모델을 사용하여 일관된 스타일을 유지하면서도 새로운, 다양한, 읽기 쉬운 폰트를 생성하기 위해.
• 폰트 생성에서 문자 정체성과 시각적 스타일을 독립적으로 제어할 수 있도록 하기 위해.
• 기존의 GAN 기반 폰트 생성 방법을 향상시켜 읽기 가능성과 스타일 일관성을 높이고, 모드 붕괴를 방지하기 위해.

제안 방법

• 생성망 네트워크는 하나의 원-핫 문자 클래스 벡터와 임의의 스타일 벡터를 두 입력으로 받아, 문자와 스타일에 대한 분리된 제어를 가능하게 한다.
• 판별망은 실제 폰트 이미지와 생성된 폰트 이미지를 평가하여, 생성망이 현실적이고 스타일 일관성이 확보된 출력을 생성하도록 훈련시킨다.
• 복잡한 이미지 다양체를 모델링하기 위해 생성망과 판별망 모두에 깊은 합성곱 신경망(DCNN) 아키텍처를 사용한다.
• 생성망은 문자 클래스와 스타일을 조건으로 하여 폰트 이미지의 조건부 분포를 학습하는 조건부 GAN 프레임워크를 사용한다.
• 스타일 벡터에 대한 명시적 지도 학습 없이, 적대적 손실을 사용하여 엔드 투 엔드로 모델을 훈련시킨다.
• 훈련 데이터에 충분한 다양성이 확보되어 있음에 따라, 스타일 일관성이 암묵적으로 학습된다.

실험 결과

연구 질문

• RQ1 GAN 기반 모델은 모든 문자에서 일관된 시각적 스타일을 유지하면서도 읽기 쉬운 폰트를 생성할 수 있는가?
• RQ2 문자 클래스와 스타일 벡터에 대한 분리된 조건부 입력이 생성된 폰트의 다양성과 현실성에 어떤 영향을 미치는가?
• RQ3 GAN 프레임워크 내에서의 비지도 스타일 벡터가 모드 붕괴 없이 안정적이고 고품질의 폰트 생성을 가능하게 하는가?
• RQ4 제안된 방법은 기존의 딥 러닝 기반 폰트 생성 방법과 비교해 읽기 가능성과 스타일 다양성 측면에서 어떻게 성능을 냈는가?
• RQ5 스타일 벡터의 잠재 공간은 특정 스타일에 대한 의미 있고 제어 가능한 폰트 스타일 생성을 얼마나 잘 가능하게 하는가?

주요 결과

• GlyphGAN은 생성된 폰트에서 83.90%의 인식 정확도를 달성하여, Deep-fonts(72.51%)보다 유의미하게 높은 읽기 가능성을 보였다.
• GlyphGAN의 다양성 지표(C_d)는 0.61로, Deep-fonts(0.33)보다 높아 생성된 폰트의 다양성이 더 높음을 입증했다.
• 분리된 조건부 입력 메커니즘 덕분에, 무작위 스타일 벡터가 주어져도 GlyphGAN은 모든 문자에서 스타일 일관성을 유지했다.
• DCGAN 및 WGAN-Clipping 기반 기준 모델에서 관찰된 모드 붕괴를 피하여, 반복적이거나 읽기 어려운 출력을 생성하지 않았다.
• 스타일 일관성은 훈련 데이터의 다양성에 민감했으며, 스타일 커버리지가 제한된 경우 출력이 일관되지 않아 데이터 의존성의 중요성을 드러냈다.
• 스타일 벡터의 잠재 공간은 의미 있는 스타일 변형을 인코딩하고 있음을 발견했지만, 특정 스타일에 대한 명시적 제어는 여전히 도전 과제로 남아 있었다.