[논문 리뷰] Few-Shot Font Generation by Learning Fine-Grained Local Styles

Licheng Tang, Yiyang Cai외 8명|arXiv (Cornell University)|2022. 05. 20.

Video Analysis and Summarization인용 수 6

한 줄 요약

이 논문은 콘텐츠 이미지와 기준 이미지 간의 공간적 특징을 교차 어텐션을 통해 정렬함으로써 기준 글자에서 미세한 국소 스타일(Fine-grained Local Style, FLS)을 학습하는 few-shot 글꼴 생성 모델 FSFont을 제안한다. 국소 스타일 표현에 주목하고 이를 각 공간 위치에 집계함으로써, 최신 기술 대비 뛰어난 스타일 일관성과 정확도를 달성하며, 사용자 연구와 정량적 지표를 통해 검증된다.

ABSTRACT

Few-shot font generation (FFG), which aims to generate a new font with a few examples, is gaining increasing attention due to the significant reduction in labor cost. A typical FFG pipeline considers characters in a standard font library as content glyphs and transfers them to a new target font by extracting style information from the reference glyphs. Most existing solutions explicitly disentangle content and style of reference glyphs globally or component-wisely. However, the style of glyphs mainly lies in the local details, i.e. the styles of radicals, components, and strokes together depict the style of a glyph. Therefore, even a single character can contain different styles distributed over spatial locations. In this paper, we propose a new font generation approach by learning 1) the fine-grained local styles from references, and 2) the spatial correspondence between the content and reference glyphs. Therefore, each spatial location in the content glyph can be assigned with the right fine-grained style. To this end, we adopt cross-attention over the representation of the content glyphs as the queries and the representations of the reference glyphs as the keys and values. Instead of explicitly disentangling global or component-wise modeling, the cross-attention mechanism can attend to the right local styles in the reference glyphs and aggregate the reference styles into a fine-grained style representation for the given content glyphs. The experiments show that the proposed method outperforms the state-of-the-art methods in FFG. In particular, the user studies also demonstrate the style consistency of our approach significantly outperforms previous methods.

연구 동기 및 목표

• 기존의 소수의 글꼴 생성 방법이 전반적 또는 구성 요소 수준의 스타일 분리에 의존함으로써 미세한 국소 스타일 변동을 포착하지 못하는 한계를 해결하기 위해.
• 스タイル을 전반적 또는 굵은 구성 요소 표현이 아닌, 획, 라디칼, 가장자리 등에 걸쳐 공간적으로 국소화된 특징으로 모델링하기 위해.
• 콘텐츠 글자와 기준 글자 간에 픽셀 수준의 정밀한 공간 대응 관계를 학습함으로써 스타일 전이 정확도를 향상시키기 위해.
• 자기 재구성 브랜치를 통해 기준 인코더 학습을 감독함으로써 스타일 일관성과 세부 사항 복원 능력을 향상시키기 위해.
• 중국어 문자의 구성 규칙에 기반한 너비 우선 탐색 알고리즘을 사용하여 기준 글자를 자동으로 선택하기 위해.

제안 방법

• 기준 글자 이미지에서 미세한 국소 스타일 표현(Fine-grained Local Style, FLS)을 추출하는 기준 인코더로, 특징 맵의 각 공간 위치를 국소 스타일 단위로 간주한다.
• 콘텐츠 글자 특징을 쿼리로, 기준 특징을 키/밸류로 사용하는 교차 어텐션 기반 스타일 집합 모듈(SAM)이 관련된 국소 스타일에 주목한다.
• 어텐션 메커니즘이 콘텐츠 글자의 각 공간 위치에 가장 적합한 국소 스타일을 동적으로 할당함으로써 정밀한 스타일 전이를 가능하게 한다.
• 자기 재구성 브랜치는 자신의 특징에서 목표 글자를 재구성함으로써 기준 인코더 학습을 훈련시켜, 대응 관계 학습과 세부 사항 유지에 기여한다.
• 구조적 및 구성 규칙에 기반한 너비 우선 탐색 기반 알고리즘이 목표 문자마다 최적의 기준 글자를 구성 규칙에 따라 자동으로 선택한다.
• 모델은 적대적 손실과 인지적 손실을 함께 사용하여 엔드 투 엔드로 훈련되며, 고정밀 생성과 스타일 일관성을 보장한다.

Figure 1 : Our proposed fine-grained local style extraction and style aggregation process. Our proposed module enables fine-grained style extraction from references and learns the correspondence between content and reference, thus aggregate corresponding local styles into correct locations in conten

실험 결과

연구 질문

• RQ1 미세한 국소 스타일 표현은 전반적 또는 구성 요소 수준의 스타일 모델링을 넘어서 소수의 글꼴 생성 성능을 향상시킬 수 있는가?
• RQ2 교차 어텐션 메커니즘은 국소 수준에서 콘텐츠 글자와 기준 글자 간의 공간 대응 관계를 얼마나 효과적으로 학습하는가?
• RQ3 국소 스타일 특징에 주목함으로써 생성된 글꼴의 시각적 정확도와 스타일 일관성이 향상되는가?
• RQ4 자기 재구성 브랜치는 정확한 스타일 대응 관계 학습과 세부 사항 보존 능력을 향상시키는가?
• RQ5 구성 규칙에 기반한 자동 기준 선택은 생성 품질 향상과 수동 레이블링 의존도 감소에 기여하는가?

주요 결과

• 제안된 FSFont 방법은 정량적 지표와 사용자 연구 모두에서 최신 기술 대비 뛰어난 성능을 보였다.
• 사용자 연구 결과, FSFont의 스타일 일관성은 이전 방법보다 유의미하게 뛰어나 인간 평가에서 통계적으로 유의미한 선호를 보였다.
• 단 한두 개의 기준 글자만으로도 고정밀 생성을 달성하여 획 끝자국과 굴곡 같은 세부 사항을 잘 유지하였다.
• 자기 재구성 브랜치는 특징 정렬을 향상시키고 모드 붕괴를 줄여 더 일관되고 현실적인 출력을 가능하게 하였다.
• 너비 우선 탐색 기반 자동 기준 선택은 수동 레이블링 없이도 고품질의 기준 집합을 생성하여 생성 성능 향상에 기여하였다.

Figure 2 : Overview of our proposed model . Our generator consists of four parts: a reference encoder $E_{r}$ , a content encoder $E_{c}$ , the Style Aggregation Module(SAM) , and a decoder $D$ . Given a content image $x_{c}$ and $k$ -shot references $\{y_{1},y_{2},...,y_{k}\}$ which is selected bas