[논문 리뷰] Attribute2Font: Creating Fonts You Want From Attributes

Yizhi Wang, Yue Gao외 1명|arXiv (Cornell University)|2020. 05. 16.

Generative Adversarial Networks and Image Synthesis참고 문헌 35인용 수 4

한 줄 요약

이 논문은 사용자가 지정한 폰트 속성(예: 기울임, 서식, 날카러움 등)을 기반으로 디지털 글자 이미지를 생성하는 딥 생성 모델인 Attribute2Font를 제안한다. 이는 서로 다른 폰트 간에 속성 조건부 스타일 전이를 수행함으로써 작동한다. 모델은 생성 품질 향상과 제한된 애너테이션 데이터 처리를 위해 속성 주의 모듈(Attribute Attention Module)과 준지도 학습 방식을 도입하여, 기존 데이터베이스에 존재하지 않는 새로운 폰트 스타일의 합성도 가능하게 한다.

ABSTRACT

Font design is now still considered as an exclusive privilege of professional designers, whose creativity is not possessed by existing software systems. Nevertheless, we also notice that most commercial font products are in fact manually designed by following specific requirements on some attributes of glyphs, such as italic, serif, cursive, width, angularity, etc. Inspired by this fact, we propose a novel model, Attribute2Font, to automatically create fonts by synthesizing visually-pleasing glyph images according to user-specified attributes and their corresponding values. To the best of our knowledge, our model is the first one in the literature which is capable of generating glyph images in new font styles, instead of retrieving existing fonts, according to given values of specified font attributes. Specifically, Attribute2Font is trained to perform font style transfer between any two fonts conditioned on their attribute values. After training, our model can generate glyph images in accordance with an arbitrary set of font attribute values. Furthermore, a novel unit named Attribute Attention Module is designed to make those generated glyph images better embody the prominent font attributes. Considering that the annotations of font attribute values are extremely expensive to obtain, a semi-supervised learning scheme is also introduced to exploit a large number of unlabeled fonts. Experimental results demonstrate that our model achieves impressive performance on many tasks, such as creating glyph images in new font styles, editing existing fonts, interpolation among different fonts, etc.

연구 동기 및 목표

• 전문가가 아닌 사용자가 폰트 검색에 의존하는 대신 속성 기반 생성 방식을 통해 맞춤형 폰트를 쉽게 만들 수 있도록 장벽을 낮추는 것.
• 기존 이미지 합성 모델이 속성을 동등하게 취급하여 글자 형태의 변형을 제대로 모델링하지 못하는 한계를 해결하는 것.
• 이산적 또는 이진 속성 값이 아닌 연속적이고 임의의 속성 값에 대응하는 방법을 개발하는 것.
• 애너테이션된 폰트 속성 데이터의 부족을 준지도 학습 방식을 통해 보완하는 것.
• 라틴 알파벳 외의 스크립트(예: 중국어)를 포함한 새로운 폰트 스타일의 글자 이미지 생성을 가능하게 하는 것.

제안 방법

• 모델은 소스 폰트 이미지와 속성 값을 기반으로 목표 폰트 이미지로의 스타일 전이를 수행하는 딥 생성 네트워크를 사용한다.
• 생성 과정에서 영향력이 가장 큰 속성을 동적으로 강조하기 위해 디코더에 속성 주의 모듈(Attribute Attention Module)을 통합한다.
• 약한 레이블이 부족한 상황에서 풍부한 무라벨 폰트 데이터를 활용하여 학습 성능을 향상시키기 위해 준지도 학습 방식을 도입한다.
• 소스 폰트 이미지와 속성 값에서 목표 스타일의 폰트 이미지로의 매핑을 학습하도록 모델을 훈련시킨다.
• 속성 인식 주의 메커니즘을 갖춘 수정된 StarGAN 아키텍처를 기반으로 한 설계를 사용한다.
• 속성 값을 수정함으로써 기존 폰트의 편집이나 폰트 간의 보간(interpolation)을 지원한다.

실험 결과

연구 질문

• RQ1 연속적이고 사용자 정의된 속성 값에 기반해 딥 생성 모델이 기존 폰트를 검색하지 않고도 새로운 폰트 스타일을 합성할 수 있는가?
• RQ2 시각적 정확도를 높이기 위해 속성별 중요도를 어떻게 모델링할 수 있는가?
• RQ3 준지도 학습 전략이 폰트 생성에서 비용이 많이 드는 속성 애너테이션에 대한 의존도를 어느 정도 줄일 수 있는가?
• RQ4 제안된 방법이 대규모 문자 집합을 가진 중국어와 같은 다양한 글자 체계에 일반화될 수 있는가?
• RQ5 속성 주의 모듈이 폰트 합성 과정에서 핵심적인 스타일적 특징을 유지하는 데 어떤 영향을 미치는가?

주요 결과

• Attribute2Font 모델은 임의의 속성 조합에 기반해 기존에 보지 못한 새로운 폰트 스타일의 고해상도 글자 이미지를 성공적으로 생성한다.
• 속성 주의 모듈은 핵심 속성을 강조함으로써 모델의 정확성과 시각적 일관성을 크게 향상시킨다.
• 준지도 학습 방식은 제한된 애너테이션 데이터 상황에서도 효과적인 학습을 가능하게 하여 자원이 부족한 환경에서의 성능을 향상시킨다.
• 모델은 중국어와 같은 비라틴 스크립트에 대해서도 잘 일반화되어 대규모 문자 집합에 대한 확장성도 입증되었다.
• 광범위한 실험 결과, 기존 방법에 비해 폰트 생성, 편집, 보간 작업에서 뛰어난 성능을 보였다.
• 특히 얼굴 및 폰트 이미지 번역 작업에서 기준 GAN 모델인 StarGAN보다 정체성 일관성과 속성 제어 능력에서 뛰어난 성능을 보였다.