[논문 리뷰] DeepVecFont: Synthesizing High-quality Vector Fonts via Dual-modality Learning

Yizhi Wang, Zhouhui Lian|arXiv (Cornell University)|2021. 10. 13.

Advanced Image and Video Retrieval Techniques참고 문헌 32인용 수 16

한 줄 요약

DeepVecFont은 이중 모odal 학습을 통해 래스터 이미지와 벡터 윤곽을 동시에 모델링함으로써 고품질이고 컴팩트한 벡터 폰트를 합성하는 새로운 딥러닝 프레임워크를 제안한다. 이미지 기반 및 시퀀스 기반 특징을 융합하고, 반복적 개선을 통한 미분 가능한 래스터화를 사용함으로써 인간이 디자인한 수준의 품질과 스타일 일관성을 갖춘 벡터 글리프를 생성하며, 정성적 및 정량적 기준에서 이전 방법들을 능가한다.

ABSTRACT

Automatic font generation based on deep learning has aroused a lot of interest in the last decade. However, only a few recently-reported approaches are capable of directly generating vector glyphs and their results are still far from satisfactory. In this paper, we propose a novel method, DeepVecFont, to effectively resolve this problem. Using our method, for the first time, visually-pleasing vector glyphs whose quality and compactness are both comparable to human-designed ones can be automatically generated. The key idea of our DeepVecFont is to adopt the techniques of image synthesis, sequence modeling and differentiable rasterization to exhaustively exploit the dual-modality information (i.e., raster images and vector outlines) of vector fonts. The highlights of this paper are threefold. First, we design a dual-modality learning strategy which utilizes both image-aspect and sequence-aspect features of fonts to synthesize vector glyphs. Second, we provide a new generative paradigm to handle unstructured data (e.g., vector glyphs) by randomly sampling plausible synthesis results to get the optimal one which is further refined under the guidance of generated structured data (e.g., glyph images). Finally, qualitative and quantitative experiments conducted on a publicly-available dataset demonstrate that our method obtains high-quality synthesis results in the applications of vector font generation and interpolation, significantly outperforming the state of the art.

연구 동기 및 목표

• 시각적 품질과 컴팩트함 측면에서 인간이 디자인한 기준에 부합하는 고품질의 자동 벡터 폰트 생성이라는 오랜 도전 과제를 해결하기 위해.
• 기존 방법들이 벡터 폰트 생성을 위해 단일 모달 표현(예: 래스터 이미지 또는 시퀀스만)에 의존하는 한계를 극복하기 위해.
• 비정형 벡터 글리프 데이터를 다룰 수 있는 생성 프레임워크를 개발하기 위해, 무작위 샘플링과 구조화된 이미지 지도를 활용한 유도적 개선을 조합함으로써.
• 잠재 공간 내에서의 고정밀 벡터 폰트 합성과 부드러운 스타일 보간을 가능하게 하여 글리프 간 스타일 일관성을 유지하기 위해.
• 이미지 및 시퀀스 모달 간 상보적 정보를 활용함으로써 벡터 그래픽의 생성 모델링에 새로운 패러다임을 제시하기 위해.

제안 방법

• 래스터 이미지(전체 형태 인식을 위한 CNN 기반)와 벡터 윤곽(그림 명령어의 시퀀스 모델링을 위한 RNN 기반)에서 특징를 추출하고 융합하기 위해 이중 모달 학습 전략을 사용한다.
• 합성된 벡터 글리프를 다양한 래스터 이미지로 변환하기 위해 미분 가능한 래스터화를 사용하며, 이는 이미지 기반 지도와 함께 엔드 투 엔드 학습을 가능하게 한다.
• 두 단계로 구성된 개선 과정은 타당한 합성 결과를 샘플링하고, 생성된 이미지 특징을 지도로 사용하여 반복적으로 개선함으로써 국소 세부 사항의 정확도를 향상시킨다.
• 이미지와 시퀀스 모달 간의 이중 방향 특징 번역은 특징의 상보성을 향상시키고 다양한 폰트 스타일에 대한 일반화 능력을 향상시킨다.
• 그림 명령어 좌표의 연속적이고 다중 값인 특성을 모델링하기 위해 혼합 밀도 네트워크(MDNs)를 적용하여 순차적 생성 시의 모호성을 감소시킨다.
• 잠재 스타일 공간을 사용하여 보간을 수행함으로써 글자 간 부드러운 전환과 새로운 스타일의 일관된 벡터 폰트 생성을 가능하게 한다.

실험 결과

연구 질문

• RQ1 글리프의 이미지 및 시퀀스 모달을 동시에 활용함으로써 딥러닝 기반 생성 모델이 고품질의 벡터 폰트를 효과적으로 합성할 수 있는가?
• RQ2 비정형 벡터 글리프 데이터는 어떻게 구조화된 이미지 지도를 활용하여 효과적으로 모델링하고 개선할 수 있는가?
• RQ3 이중 모달 학습은 단일 모달 접근 방식에 비해 합성된 벡터 폰트의 시각적 품질과 구조적 컴팩트함을 어느 정도 향상시킬 수 있는가?
• RQ4 잠재 공간 내에서의 스타일 보간을 통해 모델은 폰트 패밀리의 모든 글자에서 일관되고 미적으로 매력적인 폰트를 생성할 수 있는가?
• RQ5 극단적인 특징을 가진 벡터 폰트 합성(예: 얇은 줄무늬 또는 복잡한 곡선)에서 발생하는 주요 실패 유형은 무엇이며, 이를 어떻게 완화할 수 있는가?

주요 결과

• 제안된 방법은 평균 62.1%의 사용자 연구 정확도를 기록하였으며, 비디자이너들이 폰트 품질을 4.6/5, 스타일 일관성을 4.8/5로 평가하여 강력한 인지적 품질을 나타낸다.
• 전문 디자이너들은 66.5%의 정확도를 기록하고 스타일 일관성을 4.5/5로 평가하여 합성된 폰트의 높은 일관성과 수용 가능성을 입증한다.
• 공개 데이터셋에서 정성적 및 정량적 평가 모두에서 최신 기술을 뛰어넘는 성능을 보이며, 글리프 생성 및 스타일 보간 측면에서 뛰어난 결과를 얻었다.
• 이 방법은 컴팩트하고 매끄러운 윤곽선과 높은 시각적 정밀도를 갖춘 벡터 폰트를 성공적으로 생성하여 인간이 디자인한 폰트의 품질과 구조적 컴팩트함을 그대로 재현하였다.
• 한계점으로는 매우 얇은 줄무늬에서 종종 끊어진 윤곽선과 이미지 기반 표현에 의해 작은 곡선이 과적합되는 현상이 발견되었으며, 향후 개선의 대상으로 지목되었다.
• 사용자 연구 결과 34.4%의 재현율은 많은 합성 글리프가 인간이 디자인한 것과 구별되지 않음을 시사하며, 모델의 현실감과 인지적 품질을 확인한다.