[논문 리뷰] DG-Font: Deformable Generative Networks for Unsupervised Font Generation

Yangchen Xie, Xinyuan Chen외 2명|arXiv (Cornell University)|2021. 04. 07.

Generative Adversarial Networks and Image Synthesis참고 문헌 50인용 수 9

한 줄 요약

이 논문은 쌍체 학습 데이터가 필요 없이 고품질 문자를 합성하는 데에 탈형성 생성 네트워크를 사용하는 새로운 비지도 글꼴 생성 모델 DG-Font을 제안한다. 특징 탈형성 스키프 커넥션(FDSC)을 도입하여 탈형성 컨벌루션에 대한 이동 지도를 예측하고, 콘텐츠 인코더에서 탈형성 컨벌루션을 활용함으로써 기하학적 스타일을 효과적으로 전달하면서도 구조적 일관성을 유지한다. 이로 인해 중국어 글꼴 생성 분야에서 최고 수준의 성능을 달성하였으며, 인지적 품질과 구조적 충실도가 향상되었다.

ABSTRACT

Font generation is a challenging problem especially for some writing systems that consist of a large number of characters and has attracted a lot of attention in recent years. However, existing methods for font generation are often in supervised learning. They require a large number of paired data, which is labor-intensive and expensive to collect. Besides, common image-to-image translation models often define style as the set of textures and colors, which cannot be directly applied to font generation. To address these problems, we propose novel deformable generative networks for unsupervised font generation (DGFont). We introduce a feature deformation skip connection (FDSC) which predicts pairs of displacement maps and employs the predicted maps to apply deformable convolution to the low-level feature maps from the content encoder. The outputs of FDSC are fed into a mixer to generate the final results. Taking advantage of FDSC, the mixer outputs a high-quality character with a complete structure. To further improve the quality of generated images, we use three deformable convolution layers in the content encoder to learn style-invariant feature representations. Experiments demonstrate that our model generates characters in higher quality than state-of-art methods. The source code is available at https://github.com/ecnuycxie/DG-Font.

연구 동기 및 목표

• 대규모 문자 집합을 가진 표상어 문자 체계(예: 중국어)에서 쌍체 데이터 확보가 어려운 비지도 글꼴 생성의 과제를 해결하기 위해.
• 기존의 이미지 간 번역 모델이 스타일을 질감과 색상으로 정의함으로써 글꼴의 기하학적 스타일을 포괄하지 못하는 한계를 극복하기 위해.
• 콘텐츠와 스타일 표현을 분리함으로써 스트로크 끝단이나 두께 변화와 같은 구조적 세부 사항을 유지하면서 고해상도 글꼴 생성을 가능하게 하기 위해.
• 스트로크나 라디칼과 같은 애너테이션 레이블이나 쌍체 예제가 없이도 새로운 글꼴에 대해 잘 일반화되는 방법을 개발하기 위해.

제안 방법

• 콘텐츠 인코더에서 얻은 저수준 특징에 대해 탈형성 컨벌루션을 적용하기 위해 이동 지도의 쌍을 예측하는 특징 탈형성 스키프 커넥션(FDSC) 모듈을 제안한다.
• 콘텐츠 인코더에 탈형성 컨벌루션 레이어를 도입하여 스타일에 영향을 받지 않는 특징 표현을 학습함으로써 기하학적 변형에 대한 강건성을 향상시킨다.
• 구분 능력 있는 스타일 표현을 보장하고 독립적인 스타일 식별을 가능하게 하기 위해 다중 작업 판별기(discriminator)를 활용한다.
• FDSC 모듈에 오프셋 정규화 손실을 도입하여 학습된 오프셋을 제약함으로써 원본 및 대상 문자의 구조 간 정렬을 향상시킨다.
• 구조적 및 의미적 세부 사항을 유지하기 위해 L1 손실과 인지적 손실, 다중 해상도 인지적 손실을 적용한다.
• 콘텐츠 및 스타일 특징을 결합하기 위해 믹서 네트워크를 사용하여 완전하고 현실적인 문자 구조를 갖는 최종 출력 이미지를 생성한다.

실험 결과

연구 질문

• RQ1 쌍체 학습 데이터에 의존하지 않고도 고품질의 비지도 글꼴 생성을 달성할 수 있는가?
• RQ2 비지도 설정에서 원본 글꼴과 대상 글꼴 간의 기하학적 변형을 효과적으로 모델링하고 전달할 수 있는가?
• RQ3 표준 스키프 커넥션 대비 탈형성 컨벌루션과 이동 지도가 구조적 충실도 향상에 기여하는가?
• RQ4 스タイル에 영향을 받지 않는 특징 표현과 오프셋 제약 조건을 적용할 경우, 새로운 글꼴 스타일에 대해 더 나은 일반화와 시각적 품질을 달성할 수 있는가?

주요 결과

• FDSC 모듈은 구조적 유지 능력을 크게 향상시켜 완전하고 일관된 형태의 문자를 생성함을 질적 비교를 통해 입증하였다.
• 콘텐츠 인코더에 탈형성 컨벌루션 레이어를 통합함으로써 L1 손실, RMSE, SSIM 측정치에서 유의미한 향상이 관찰되어 더 나은 특징 표현과 재구성 능력을 입증하였다.
• FDSC 모듈 내 오프셋 정규화는 스타일 전달 품질을 향상시켜 생성된 문자가 외관과 구조에서 대상 글꼴과 유사하게 만들었다.
• FDSC를 표준 스키프 커넥션으로 대체할 경우 성능이 떨어지며, 이는 FDSC의 탈형성 특징 전달 방식이 기하학적 스타일 모델링에 필수적임을 확인한다.
• 시각화 결과는 학습된 오프셋이 주로 스트로크 영역에 영향을 주며, 원본 스트로크에서 대상 스트로크로의 샘플링 위치를 안내함을 확인하여 모델이 의미 있는 공간적 변형을 효과적으로 학습하고 있음을 검증하였다.
• 두 개의 FDSC 모듈을 포함한 전체 모델이 가장 우수한 정량적 및 정성적 성능을 기록하였으며, 스트로크 끝단, 두께 변화, 연결된 글쓰기 스타일 등의 풍부한 세부 사항을 갖춘 문자를 생성하였다.