[논문 리뷰] XMP-Font: Self-Supervised Cross-Modality Pre-training for Few-Shot Font Generation

Wei Liu, Fangyue Liu외 3명|arXiv (Cornell University)|2022. 04. 11.

Video Analysis and Summarization인용 수 5

한 줄 요약

XMP-Font는 글리프 이미지와 스트로크 레이블을 조건으로 하는 트랜스포머 기반 인코더를 사용하여 다중 스케일 스타일 표현을 학습하는 자기지도형 다중 모odal 사전 훈련 프레임워크를 제안한다. 이는 소수 샘플(font generation)에 적합한 통합된 표현을 얻기 위해 설계되었으며, 미세조정 없이 사전 훈련된 인코더를 활용함으로써 단일 기준 글리프만으로도 28% 낮은 악성 케이스 비율과 기록적인 87.5% 성공률을 달성한다.

ABSTRACT

Generating a new font library is a very labor-intensive and time-consuming job for glyph-rich scripts. Few-shot font generation is thus required, as it requires only a few glyph references without fine-tuning during test. Existing methods follow the style-content disentanglement paradigm and expect novel fonts to be produced by combining the style codes of the reference glyphs and the content representations of the source. However, these few-shot font generation methods either fail to capture content-independent style representations, or employ localized component-wise style representations, which is insufficient to model many Chinese font styles that involve hyper-component features such as inter-component spacing and "connected-stroke". To resolve these drawbacks and make the style representations more reliable, we propose a self-supervised cross-modality pre-training strategy and a cross-modality transformer-based encoder that is conditioned jointly on the glyph image and the corresponding stroke labels. The cross-modality encoder is pre-trained in a self-supervised manner to allow effective capture of cross- and intra-modality correlations, which facilitates the content-style disentanglement and modeling style representations of all scales (stroke-level, component-level and character-level). The pre-trained encoder is then applied to the downstream font generation task without fine-tuning. Experimental comparisons of our method with state-of-the-art methods demonstrate our method successfully transfers styles of all scales. In addition, it only requires one reference glyph and achieves the lowest rate of bad cases in the few-shot font generation task 28% lower than the second best

연구 동기 및 목표

• 기존의 소수 샘플 폰트 생성 방법이 구성 요소 수준 또는 통합된 스타일 표현에 의존함으로써 상호 구성 요소 간 간격이나 연결된 스트로크 패tern과 같은 다중 스케일 스타일 특징를 포착하지 못하는 한계를 해결하기 위해.
• 원자 단위의 수를 줄이고, 미지의 구성 요소로의 일반화 능력을 향상시키기 위해 구성 요소 수준의 감독을 스트로크 수준의 감독으로 대체함으로써 스타일 표현의 신뢰성을 향상시키기 위해.
• 자기지도형 방식으로 사전 훈련된 통합 다중 모달 트랜스포머 인코더를 통해 스트로크, 구성 요소, 문자 수준의 콘텐츠-스타일 분리 가능성을 확보하기 위해.
• 하류 작업에서의 미세조정이 필요 없도록 사전 훈련된 인코더를 고정하고, 스타일 표현을 직접 하류 폰트 생성 작업으로 전이하기 위해.
• 단일 기준 글리프만으로도 다양한 소스 폰트와 미지의 타겟 스타일에서 고해상도이자 일관성 있는 폰트 생성을 달성하기 위해.

제안 방법

• 글리프 이미지와 해당하는 스트로크 레이블을 함께 조건으로 하여 다중 스케일에서 교차 및 내부 모달 간 상관관계를 학습하는 다중 모달 트랜스포머 기반 인코더를 사용한다.
• 인코더는 인간 레이블이 필요 없는 자기지도형 방식으로 사전 훈련되며, 마스킹된 이미지 모델링과 마스킹된 스트로크 레이블링을 통해 다중 스케일 스타일 표현을 학습한다.
• 사전 훈련된 인코더는 고정되고 하류 폰트 생성 작업에서 고정된 특징 추출기로 사용되어, 미세조정이 필요 없도록 한다.
• ECA 모듈을 갖춘 분리 네트워크를 사용하여 콘텐츠와 스타일 표현을 분리함으로써 분리도를 향상시키고 구조적 세부 정보를 유지한다.
• 학습 중에 스트로크 손실을 도입하여 구조적 일관성을 강화하고 스트로크 순서 및 형태에 대한 민감도를 향상시킨다.
• 생성기에서는 해상도와 GPU 메모리 제약을 고려하여 $8\times 8$ 크기의 특징 맵을 사용하며, 분석 연구에서는 더 작은 표현을 테스트하기 위해 다운샘플링 레이어를 사용한다.

실험 결과

연구 질문

• RQ1 자기지도형 다중 모달 사전 훈련 전략이 소수 샘플 폰트 생성에서 다중 스케일 스타일 표현의 신뢰성 향상에 기여하는가?
• RQ2 구성 요소 수준의 감독 대신 스트로크 수준의 감독을 사용할 경우, 중국 문자의 미지의 구성 요소와 스타일로의 일반화 능력 향상이 이루어지는가?
• RQ3 하류 작업에서의 미세조정 없이도 고정된 사전 훈련된 인코더가 뛰어난 소수 샘플 폰트 생성 성능을 달성할 수 있는가?
• RQ4 제안된 스트로크 손실이 구조적 세부 정보 보존 및 콘텐츠-스타일 분리 향상에 얼마나 효과적인가?
• RQ5 특징 맵 크기나 분리 네트워크와 같은 아키텍처 선택 사항이 생성 품질과 구조적 정확도에 미치는 영향은 무엇인가?

주요 결과

• XMP-Font는 소수 샘플 폰트 생성에서 미지의 폰트 도메인에서 기록적인 87.5% 성공률을 달성하여 이전 방법들을 크게 앞서간다.
• 두 번째로 우수한 방법과 비교해 악성 케이스 비율이 28% 낮아져, 더 높은 신뢰성과 일관성을 입증한다.
• 분석 연구 결과, 스트로크 손실을 제거할 경우 구조적 보존 능력이 악화되고 목적 함수 지표도 떨어지며, 특히 미지 상황에서 FID가 31.14에서 70.56으로 상승한다.
• $8\times 8$ 대신 $4\times 4$ 특징 맵을 사용할 경우 세밀한 구조적 특징과 스타일 특징 손실이 발생하여 L1 및 스트로크 손실 증가, PSNR 및 SSIM 감소로 나타난다.
• ECA 기반 분리 네트워크를 제거할 경우 콘텐츠-스타일 분리도가 떨어지며, 구조적 아티팩트와 잘못된 스타일 전이가 발생한다. 이는 정성적 결과와 지표 악화를 통해 확인된다.
• 사전 훈련 전략은 필수적이다: 사전 훈련 없이 인코더를 랜덤 초기화하여 학습시키면 수렴하지 못하고, 하류 학습 중에 인코더를 미세조정하는 것 역시 고정된 사전 훈련된 버전에 비해 성능이 열 劣하다.