[논문 리뷰] Chinese Typography Transfer

Jie Chang, Yujun Gu|arXiv (Cornell University)|2017. 07. 16.

Simulation and Modeling Applications참고 문헌 12인용 수 19

한 줄 요약

이 논문은 각 한자 문자를 전체 이미지로 간주함으로써 분할 또는 사전/후처리가 필요 없도록 하는 딥러닝 기반의 종단간 프레임워크를 제안한다. 전체 컨volution 네트워크(FCN)를 구조적 보존에 사용하고, 현실적인 획 생성을 위해 적대적 네트워크를 결합함으로써, 인쇄체 및 손글씨 스타일을 고시각 정밀도로 성공적으로 전이한다.

ABSTRACT

In this paper, we propose a new network architecture for Chinese typography transformation based on deep learning. The architecture consists of two sub-networks: (1)a fully convolutional network(FCN) aiming at transferring specified typography style to another in condition of preserving structure information; (2)an adversarial network aiming at generating more realistic strokes in some details. Unlike models proposed before 2012 relying on the complex segmentation of Chinese components or strokes, our model treats every Chinese character as an inseparable image, so pre-processing or post-preprocessing are abandoned. Besides, our model adopts end-to-end training without pre-trained used in other deep models. The experiments demonstrates that our model can synthesize realistic-looking target typography from any source typography both on printed style and handwriting style.

연구 동기 및 목표

• 구성요소나 획 분할이 필요 없는 통합된 딥러닝 프레임워크를 개발하여 중국어 타이포그래피 스타일 전이를 수행한다.
• 타이포그래피 전이에서 복잡한 사전처리 또는 후처리 단계가 필요 없도록 한다.
• 사전 훈련된 모델을 사용하지 않고 종단간 훈련을 가능하게 하여 훈련 효율성과 적응성을 향상시킨다.
• 인쇄체 및 손글씨 스타일 모두에서 세밀한 획 세부사항을 갖춘 현실적인 타이포그래피를 생성한다.

제안 방법

• 모델는 전체 컨volution 네트워크(FCN)를 활용하여 소스 문자의 구조적 레이아웃을 유지하면서 타이포그래피 스타일을 전이한다.
• 지역적 획의 현실감을 향상시키고 세부 시각 품질을 개선하기 위해 적대적 네트워크를 통합한다.
• 전체 아키텍처는 사전 훈련된 가중치를 사용하지 않고 종단간 방식으로 훈련된다.
• 모델은 각 중국어 문자를 단일 이미지로 간주하여 구성요소나 획의 분할을 방지한다.
• 적대적 손실은 생성된 획을 보다 자연스럽고 목표 스타일과 시각적으로 일관되게 만들기 위해 적용된다.
• 통합 아키텍처를 통해 인쇄체 및 손글씨 스타일 전이를 모두 지원한다.

실험 결과

연구 질문

• RQ1 딥러닝 모델이 문자나 획의 분할 없이도 중국어 타이포그래피 스타일을 전이할 수 있는가?
• RQ2 종단간 훈련된 모델이 현실적인 획을 생성하면서도 구조적 통합성을 얼마나 효과적으로 유지할 수 있는가?
• RQ3 모델이 다양한 타이포그래피 스타일, 특히 인쇄체 및 손글씨 변형에 대해 얼마나 잘 일반화되는가?
• RQ4 적대적 훈련이 기준 방법에 비해 생성된 획의 현실감을 어떻게 크게 향상시킬 수 있는가?

주요 결과

• 모델는 사전처리 또는 후처리 단계 없이도 소스에서 타겟으로 타이포그래피 스타일을 성공적으로 전이한다.
• 사전 훈련된 모델 없이 종단간 훈련이 경쟁적인 성능을 달성하여 모델의 자립성을 입증한다.
• 적대적 구성요소는 생성된 문자의 획 세부사항의 현실감을 크게 향상시킨다.
• 모델는 인쇄체 및 손글씨 스타일 모두에 잘 일반화되어 있으며, 시각적으로 타당한 결과를 생성한다.
• 복잡한 획 패턴이 있는 경우에도 소스 문자의 구조 일관성을 유지한다.
• 분할 또는 복잡한 사전처리 파이프라인을 필요로 하는 이전 방법들보다 성능이 뛰어나다.