[논문 리뷰] Look Closer to Supervise Better: One-Shot Font Generation via Component-Based Discriminator

Yuxin Kong, Canjie Luo외 5명|arXiv (Cornell University)|2022. 04. 30.

Multimodal Machine Learning Applications인용 수 5

한 줄 요약

이 논문은 구성요소 인식 모듈(Component-Aware Module, CAM)을 사용해 구성요소 수준에서 생성을 감독하는 one-shot 폰트 생성 프레임워크인 CG-GAN을 제안한다. 이는 스타일 일관성과 구조 정확성을 향상시킨다. 주어진 글자에서 주의 기반 추출과 다중 작업 식별을 통해 굵은 수준의 감독을 미세한 구성요소 수준의 피드백으로 대체함으로써, CG-GAN은 one-shot 중국어 폰트 생성에서 최고 수준의 성능을 달성하며, 손글씨 단어 합성과 스냅샷 텍스트 편집으로의 일반화도 가능하다.

ABSTRACT

Automatic font generation remains a challenging research issue due to the large amounts of characters with complicated structures. Typically, only a few samples can serve as the style/content reference (termed few-shot learning), which further increases the difficulty to preserve local style patterns or detailed glyph structures. We investigate the drawbacks of previous studies and find that a coarse-grained discriminator is insufficient for supervising a font generator. To this end, we propose a novel Component-Aware Module (CAM), which supervises the generator to decouple content and style at a more fine-grained level, i.e., the component level. Different from previous studies struggling to increase the complexity of generators, we aim to perform more effective supervision for a relatively simple generator to achieve its full potential, which is a brand new perspective for font generation. The whole framework achieves remarkable results by coupling component-level supervision with adversarial learning, hence we call it Component-Guided GAN, shortly CG-GAN. Extensive experiments show that our approach outperforms state-of-the-art one-shot font generation methods. Furthermore, it can be applied to handwritten word synthesis and scene text image editing, suggesting the generalization of our approach.

연구 동기 및 목표

• 기존 방법이 국소적 스타일 패턴과 기호 구조를 유지하지 못하는 소규모 샘플 폰트 생성에서 굵은 수준 감독의 한계를 해결하기 위해.
• 모델 복잡도를 증가시키지 않고도 생성기 성능을 향상시키기 위해, 특히 구성요소 수준에서 더 세밀한 감독을 통해 성능을 향상시키기 위해.
• 사전에 정의된 구성요소 카테고리에 의존하는 이전의 구성요소 기반 방법의 한계를 극복하고, 새로운 폰트 스타일과 사전 외 문자에 대한 일반화를 가능하게 하기 위해.
• 폰트 생성을 넘어서 손글씨 단어 합성과 스냅샷 텍스트 편집과 같은 관련 작업으로의 확장 가능성을 보장하기 위해.

제안 방법

• 입력 기호에서 구성요소를 추출하고 국소화하기 위해 주의 메커니즘을 사용하는 구성요소 인식 모듈(Component-Aware Module, CAM)을 도입한다.
• 각 구성요소 수준의 진짜성과 스타일 분류 식별기를 사용해 구성요소 수준 피드백을 제공함으로써, 이미지의 진정성과 스타일 일관성을 향상시킨다.
• 세 가지 구성요소 수준의 손실 함수를 사용한다: 구조 유지 손실($\mathcal{L}_{strc}$), 스타일 매칭 손실($\mathcal{L}_{sty}$), 구성요소 진짜성 손실($\mathcal{L}_{dcomp}$)으로 다목적 학습을 수행한다.
• 생성기를 구조적으로 정확하고, 스타일적으로 일관되며, 현실적인 기호를 생성하도록 유도하기 위해, 적대적 학습과 구성요소 수준 감독을 결합한다.
• 쌍체 데이터가 필요 없도록, 참조 폰트와 대상 폰트 간에 쌍체가 없는 설정에서 생성기를 훈련한다.
• 다단계 렌더링 없이 직접 편집된 이미지를 생성함으로써, 스냅샷 텍스트 편집으로의 프레임워크 확장이 가능해져 배경-전경 간섭을 효과적으로 줄였다.

실험 결과

연구 질문

• RQ1 픽셀 수준 또는 문자 수준 감독에 비해 구성요소 수준 감독이 one-shot 폰트 생성 성능을 크게 향상시킬 수 있는가?
• RQ2 구성요소 수준에서 스타일과 콘텐츠를 분리함으로써 국소적 기호 구조와 폰트 고유의 세부 정보를 더 잘 유지할 수 있는가?
• RQ3 세밀한 구성요소 수준 피드백을 받는 상대적으로 단순한 생성기로도 최고 수준의 성능을 달성할 수 있는가?
• RQ4 제안된 프레임워크는 새로운 폰트 스타일과 사전 외 문자에 대해 일반화 가능한가?
• RQ5 이 프레임워크는 손글씨 단어 합성과 스냅샷 텍스트 편집과 같은 관련 작업으로 확장 가능한가?

주요 결과

• CG-GAN은 one-shot 중국어 폰트 생성 벤치마크에서 FID 점수 17.94를 기록하여, 픽셀 수준(51.44), 문자 수준(33.21), 베이스라인(49.09) 감독 방법들보다 유의미하게 뛰어난 성능을 보였다.
• 구성요소 수준 감독 덕분에 SSIM은 0.7568로 향상되었고, RMSE는 0.0218로 감소하였으며, LPIPS는 0.2058로 낮아져, 뛰어난 이미지 품질과 구조적 충실도를 입증했다.
• 절단 실험 결과, 세 가지 구성요소 수준 손실—구조 유지, 스타일 매칭, 진짜성—모두 성능 향상에 기여하며, 각 단계에서 점진적인 성능 향상이 관찰되었다.
• 사전에 없는 스타일과 사전 외 문자에 대해서도 프레임워크의 일반화 능력이 뛰어나, OOV-U에서 FID 113.01, IV-U에서 FID 110.07을 기록하여 이러한 도전적인 환경에서 이전 방법들을 능가했다.
• 스냅샷 텍스트 편집에 대한 시각적 결과에서는 CG-GAN이 다단계 렌더링 없이도 고품질의 현실적인 편집 결과를 생성했으며, 효과적으로 전경-배경 간섭을 줄였다.
• 작가에 관계없이 손글씨 생성 성능에서도 뛰어난 성능을 보였으며, FID 19.03을 기록하여 HiGAN(17.28)과 ScrabbleGAN(23.78)을 모두 능가했으며, 다양한 텍스트 스타일로의 일반화 능력이 뛰어나다는 것을 시사했다.