[논문 리뷰] Handwritten Chinese Font Generation with Collaborative Stroke Refinement

Chuan Wen, Jie Chang외 5명|arXiv (Cornell University)|2019. 04. 30.

Handwritten Text Recognition Techniques참고 문헌 24인용 수 5

한 줄 요약

이 논문은 단지 750개의 쌍으로 구성된 훈련 샘플만을 요구하는 새로운 엔드 투 엔드 딥 러닝 모델을 제안한다. 협업 스트로크 리파이닝, 온라인 줌 증강, 적응형 프리디포메이션을 도입함으로써 얇은 스트로크를 효과적으로 처리하고, 한자 문자 내의 구조적 재사용을 활용하며 일반화 능력을 향상시킨다. 사전 훈련된 네트워크나 추가 레이블 없이도 최신 기술 수준의 성능을 달성한다.

ABSTRACT

Automatic character generation is an appealing solution for new typeface design, especially for Chinese typefaces including over 3700 most commonly-used characters. This task has two main pain points: (i) handwritten characters are usually associated with thin strokes of few information and complex structure which are error prone during deformation; (ii) thousands of characters with various shapes are needed to synthesize based on a few manually designed characters. To solve those issues, we propose a novel convolutional-neural-network-based model with three main techniques: collaborative stroke refinement, using collaborative training strategy to recover the missing or broken strokes; online zoom-augmentation, taking the advantage of the content-reuse phenomenon to reduce the size of training set; and adaptive pre-deformation, standardizing and aligning the characters. The proposed model needs only 750 paired training samples; no pre-trained network, extra dataset resource or labels is needed. Experimental results show that the proposed method significantly outperforms the state-of-the-art methods under the practical restriction on handwritten font synthesis.

연구 동기 및 목표

• 최소한의 수동 노력과 제한된 훈련 데이터로 고품질의 핸드라이팅된 중국어 글꼴을 생성하는 데 도전한다.
• 변형 과정에서 얇고 오류가 쉽게 발생하는 핸드라이팅 문자의 스트로크 문제를 해결한다.
• 다양한 문자 위치와 척도에서 반복되는 라디칼의 내용 재사용 패턴을 활용하여 데이터 요구량을 줄인다.
• 사전 훈련된 네트워크나 추가 레이블에 의존하지 않아 자원이 제한된 환경에서의 실용적 구현을 가능하게 한다.
• 저샷 훈련이라는 현실적인 제약 조건 하에서 기존 방법보다 뛰어난 합성 품질을 달성한다.

제안 방법

• 협업 스트로크 리파이닝은 이중 브랜치 훈련 전략을 사용한다: 주된 브랜치가 출력을 생성하고, 보조 브랜치는 다양한 스트로크 무게를 학습하여 얇거나 끊어진 스트로크의 복구를 안내한다.
• 온라인 줌 증강은 훈련 중에 기본 구성 요소의 변환된 버전을 합성함으로써 라디칼의 크기와 위치 변화를 암묵적으로 모델링하여 대규모 데이터 수집의 필요성을 줄인다.
• 적응형 프리디포메이션은 스케일과 공간 정렬을 학습함으로써 소스 및 타겟 문자를 표준화하여, 네트워크의 초점을 기하학적 왜곡이 아닌 스타일 전이에 집중시키는 데 기여한다.
• 모델는 GAN 기반의 적대적 손실을 사용해 엔드 투 엔드로 훈련되어 시각적 현실감과 구조적 정확성을 향상시킨다.
• 아키텍처는 사전 훈련된 모델이나 추가 레이블에 의존하지 않으며, 쌍으로 구성된 핸드라이팅 문자 이미지만으로 감독을 받는다.
• 모델는 줌 및 문자 구성 요소의 이동을 통한 데이터 증강을 통해 암묵적으로 구조적 다양성을 포착하여 일반화 능력을 향상시킨다.

실험 결과

연구 질문

• RQ1 750개의 쌍으로 구성된 훈련 샘플만으로도 딥 러닝 모델이 고해상도의 핸드라이팅된 중국어 글꼴을 생성할 수 있는가?
• RQ2 이미지 간 번역 과정에서 핸드라이팅 문자의 얇고 취약한 스트로크는 어떻게 유지되어야 하며, 왜곡을 방지할 수 있는가?
• RQ3 중국어 라디칼의 내용 재사용 패턴은 얼마나 많은 훈련 데이터 요구량을 줄일 수 있는가?
• RQ4 사전 훈련된 네트워크나 추가 레이블 없이도 최신 기술 수준의 성능을 달성할 수 있는가?
• RQ5 개별 구성 요소인 협업 리파이닝, 줌 증강, 프리디포메이션은 전체 합성 품질에 어떻게 기여하는가?

주요 결과

• 제안된 방법은 HAN이 2550개의 샘플로 훈련된 경우조차도 750개의 훈련 샘플만으로도 HAN과 유사하거나 그 이상의 성능을 달성한다.
• 사용자 연구 결과, 모델은 합성된 문자에 대해 5점 만점에 4.5점의 주관적 평가를 기록했으며, 1550개 샘플 이상에서 성능이 안정화되어 라디칼 변형의 충분한 커버리지가 이루어졌음을 시사한다.
• 제거 실험 결과, 적응형 프리디포메이션을 제거하면 스트로크가 누락되거나 잘못 정렬되는 현상이 발생함을 확인하여, 이 기법이 구조적 일관성 유지를 위해 핵심적인 역할을 한다는 것을 입증한다.
• 온라인 줌 증강을 생략할 경우, 모델은 질서가 없고 알아볼 수 없는 문자를 생성함으로써, 이 기법이 공간적 및 척도 다양성을 모델링하는 데 효과적이라는 것을 증명한다.
• 스트로크 리파이닝을 제거하면 특히 쿠르스 스타일에서 스트로크가 끊어지거나 분리되는 현상이 발생함을 확인하여, 얇은 스트로크 복구를 위해 이 기법이 반드시 필요하다는 것을 확인한다.
• GAN 기반의 손실을 포함함으로써 시각적 품질이 크게 향상되어 블러가 감소하고 생성된 문자의 구조적 일관성이 향상된다.