[논문 리뷰] Diff-Font: Diffusion Model for Robust One-Shot Font Generation

Haibin He, Xinyuan Chen외 5명|arXiv (Cornell University)|2022. 12. 12.

Video Analysis and Summarization인용 수 7

한 줄 요약

Diff-Font는 콘텐츠 임bed딩, 스타일 참조 이미지, 세분화된 스트로크/컴пон트 조건을 사용하여 조건부 생성 작업으로서 폰트 생성을 다루는 확산 모델 기반 프레임워크를 제안한다. 이는 중국어 및 한국어 스크립트의 복잡한 문자에서 특히 스타일 충실도와 구조적 통합성 면에서 최고 성능을 기록하며, 안정적인 훈련과 벤치마크 데이터셋에서 뛰어난 정량적 결과를 달성한다.

ABSTRACT

Font generation is a difficult and time-consuming task, especially in those languages using ideograms that have complicated structures with a large number of characters, such as Chinese. To solve this problem, few-shot font generation and even one-shot font generation have attracted a lot of attention. However, most existing font generation methods may still suffer from (i) large cross-font gap challenge; (ii) subtle cross-font variation problem; and (iii) incorrect generation of complicated characters. In this paper, we propose a novel one-shot font generation method based on a diffusion model, named Diff-Font, which can be stably trained on large datasets. The proposed model aims to generate the entire font library by giving only one sample as the reference. Specifically, a large stroke-wise dataset is constructed, and a stroke-wise diffusion model is proposed to preserve the structure and the completion of each generated character. To our best knowledge, the proposed Diff-Font is the first work that developed diffusion models to handle the font generation task. The well-trained Diff-Font is not only robust to font gap and font variation, but also achieved promising performance on difficult character generation. Compared to previous font generation methods, our model reaches state-of-the-art performance both qualitatively and quantitatively.

연구 동기 및 목표

• GAN 기반의 일회성 폰트 생성의 한계를 해결하기 위해, 불안정한 훈련, 낮은 스타일 전이 충실도, 복잡한 문자에서의 실패 문제를 해결한다.
• 콘텐츠, 스타일, 구조적 구성 요소를 분리하여 제어와 품질을 향상시키는 통합된 조건부 생성 프레임워크를 개발하여, 글리프가 풍부한 언어(예: 중국어 및 한국어)에 대해 강력하고 고정밀한 폰트 생성을 가능하게 한다.
• 확산 모델이 폰트 생성 분야에서 효과적임을 입증하며, 이전까지 GAN에 의해 지배되어 온 분야에 새로운 접근을 제시한다.
• 다양한 스크립트와 데이터셋에서 정성적 및 정량적 평가 모두에서 최고 성능을 달성한다.

제안 방법

• 폰트 생성을 조건부 확산 프로세스로 공식화하며, 콘텐츠는 학습된 임bed딩 토큰으로 표현되고, 스타일은 단일 참조 이미지에 의해 조건화된다.
• 특히 중국어 및 한국어의 복잡한 글자에서의 구조적 통합성을 유지하기 위해, 스트로크 또는 컴포넌트 맵과 같은 세분화된 구조 조건이 통합된다.
• 콘텐츠, 스타일, 구조 조건에 의해 안내되는 노이즈를 반복적으로 제거하는 다중 조건부 노이즈 제거 확산 모델이 훈련되어 이미지를 생성한다.
• 모델은 두 단계로 훈련된다: 첫 번째 단계에서는 콘텐츠 및 스타일 조건이 있는 대규모 데이터셋에서 훈련하고, 두 번째 단계에서는 구조 조건을 통한 정밀도 향상을 위해 미세조정된다.
• 추론 중 콘텐츠 및 스트로크 조건의 가중치 스케일을 최적화하여 충실도와 다양성의 균형을 맞추며, 최적 설정은 s₁=3, s₂=3로 확인되었다.
• 이 프레임워크는 언어에 종속되지 않으며, 라틴어 및 그리스어 스크립트에도 콘텐츠 및 스타일 조건만으로 적용 가능하여 광범위한 적용 가능성을 입증한다.

실험 결과

연구 질문

• RQ1 확산 모델은 중국어 및 한국어와 같은 복잡한 스크립트에서 안정적이고 고정밀한 일회성 폰트 생성을 달성할 수 있는가?
• RQ2 스트로크 및 컴포넌트 수준의 구조 조건을 통합할 경우, 복잡한 문자의 생성 품질은 어떻게 향상되는가?
• RQ3 제안된 조건부 확산 프레임워크는 기존의 GAN 기반 방법에 비해 스타일 전이 정확도와 구조 보존 측면에서 우월한가?
• RQ4 추론 중 콘텐츠 및 구조적 가이던스의 최적 균형은 무엇이며, 이를 통해 생성 품질을 최대화할 수 있는가?
• RQ5 구조가 단순한 스크립트(예: 라틴어 및 그리스어)에 대해서도 추가적인 구조 조건 없이 효과적으로 일반화 가능한가?

주요 결과

• Diff-Font는 중국어 폰트 생성에서 최고 성능을 기록했으며, 테스트 세트에서 Fréchet Inception Distance (FID)가 16.20으로 이전 방법들을 능가했다.
• 한국어 스크립트 벤치마크에서 Diff-Font는 FID 10.69를 기록하여 DG-Font(43.36) 및 MX-Font(47.05)보다 유의미하게 낮게, 더 뛰어난 생성 품질을 입증했다.
• 콘텐츠 및 스트로크 조건의 최적 가중치 스케일은 각각 s₁=3 및 s₂=3로 확인되었으며, 이는 가장 높은 SSIM(0.722)과 가장 낮은 RMSE(0.277) 및 LPIPS(0.104)를 제공했다.
• 절단 실험 결과, 스트로크 수 인코딩을 사용할 경우 무조건적 조건 또는 1비트 인코딩보다 생성 품질이 향상되어 FID와 LPIPS가 감소함을 확인했다.
• 라틴어 및 그리스어 스크립트로도 효과적으로 일반화되어, 구조적 주석 없이도 고품질 결과를 생성했다.
• 강력한 성능에도 불구하고, 극도로 복잡하거나 흔치 않은 스타일을 가진 문자에서는 실패 케이스가 여전히 존재하여 희귀하거나 분포 외 예측에 대한 한계를 보여주었다.