[논문 리뷰] FontGAN: A Unified Generative Framework for Chinese Character Stylization and De-stylization

Xiyan Liu, Gaofeng Meng외 2명|arXiv (Cornell University)|2019. 10. 28.

Natural Language Processing Techniques참고 문헌 26인용 수 5

한 줄 요약

FontGAN은 스타일과 콘텐츠 표현을 분리함으로써 중국 문자의 스타일화 및 디스타일라이제이션을 위한 통합 생성 프레임워크를 제안한다. 스타일 샘플링을 위한 기반으로 가우시안 분포에 스타일을 임bedding하는 폰트 일관성 모듈(FCM)과 디스타일라이제이션 중 획의 무결성을 유지하기 위한 콘텐츠 프리오르 모듈(CPM)을 사용하여, 일대다, 다대일, 다대다 생성 작업에서 최신 기술 수준(SOTA)의 성능을 달성한다.

ABSTRACT

Chinese character synthesis involves two related aspects, i.e., style maintenance and content consistency. Although some methods have achieved remarkable success in synthesizing a character with specified style from standard font, how to map characters to a specified style domain without losing their identifiability remains very challenging. In this paper, we propose a novel model named FontGAN, which integrates the character stylization and de-stylization into a unified framework. In our model, we decouple character images into style representation and content representation, which facilitates more precise control of these two types of variables, thereby improving the quality of the generated results. We also introduce two modules, namely, font consistency module (FCM) and content prior module (CPM). FCM exploits a category guided Kullback-Leibler loss to embedding the style representation into different Gaussian distributions. It constrains the characters of the same font in the training set globally. On the other hand, it enables our model to obtain style variables through sampling in testing phase. CPM provides content prior for the model to guide the content encoding process and alleviates the problem of stroke deficiency during de-stylization. Extensive experimental results on character stylization and de-stylization have demonstrated the effectiveness of our method.

연구 동기 및 목표

• 큰 위상적 변형이 존재하는 상황에서도 콘텐츠 정체성을 유지하면서 중국 문자를 다양한 폰트로 전이하는 데 도전하는 것.
• 단일 통합 프레임워크 내에서 표준 폰트에서 스타일리시드 폰트로의 스타일화와 스타일리시드 폰트에서 표준 폰트로의 디스타일라이제이션을 모두 가능하게 하는 것.
• 특히 디스타일라이제이션에서 획 부족 현상과 일관성 없는 스타일 전이 문제를 완화함으로써 생성 품질과 안정성을 향상시키는 것.
• 추론 시 기준 이미지가 필요 없이 학습된 가우시안 분포에서 샘플링을 통해 스타일 제어를 가능하게 하는 것.

제안 방법

• 별도의 인코더를 사용하여 중국 문자 이미지를 분리된 스타일 및 콘텐츠 표현으로 분해한다.
• 각 폰트를 고유한 가우시안 분포에 임베딩하기 위해 카테고리 유도 Kullback-Leibler 발산을 사용하는 폰트 일관성 모듈(FCM)을 도입한다.
• 콘텐츠 인코더가 더 정확한 표준 폰트 재구성을 생성하도록 사전 훈련된 콘텐츠 프리오르 모듈(CPM)을 활용하여, 디스타일라이제이션 중 획 손실을 감소시킨다.
• 학습된 가우시안 스타일 분포에서 샘플링하여 추론 시 스타일을 제어할 수 있도록 하며, 기준 이미지 없이도 스타일 전이가 가능하도록 한다.
• 이미지의 무결성과 분포 일치를 보장하기 위해 적대적 손실과 사이클 일관성 손실을 사용하여 모델을 엔드 투 엔드로 훈련시킨다.
• 입력 이미지 간의 스타일 및 콘텐츠 코드를 교환하여 일대다, 다대일, 다대다 생성을 지원한다.

실험 결과

연구 질문

• RQ1 통합 프레임워크가 일관된 성능으로 중국 문자의 스타일화 및 디스타일라이제이션을 효과적으로 처리할 수 있는가?
• RQ2 스타일과 콘텐츠 표현을 어떻게 분리하여, 의미적 정체성을 유지하면서도 폰트 스타일에 정밀한 제어를 가능하게 할 수 있는가?
• RQ3 FCM를 통한 가우시안 스타일 임베딩을 통해 기준 이미지 없이도 고품질의 스타일 전이가 가능할 수 있는가?
• RQ4 콘텐츠 프리오르 모듈(CPM)이 복잡하거나 서예체 스타일의 폰트에서 디스타일라이제이션 시 획 부족 현상을 어느 정도 감소시킬 수 있는가?
• RQ5 본 방법은 표준 폰트와 상당한 위상적 차이를 보이는 다양한 폰트 유형으로도 잘 일반화되는가?

주요 결과

• 폰트 일관성 모듈(FCM)은 특히 획 끝부분과 굴곡 같은 세부 정보를 유지함으로써 스타일 유지에 크게 기여하며, 정성적 비교에서 이를 입증한다.
• 콘텐츠 프리오르 모듈(CPM)은 서예체나 수기체 스타일의 복잡한 위상적 특성을 지닌 폰트에서 디스타일라이제이션 중 획 부족 현상과 혼동을 효과적으로 감소시킨다.
• 학습된 가우시안 스타일 분포에서 샘플링을 통해 기준 이미지 없이도 고품질의 스타일 전이가 가능함을 보여주며, 학습된 스타일 공간의 강건성을 입증한다.
• 모델은 일대다, 다대일, 다대다 생성 작업 전반에서 잘 일반화되어 있으며, 빌드된 시각적 일관성과 의미적 정확성을 유지한 결과를 생성한다.
• 절단 실험 결과, FCM와 CPM이 각각 성능 향상에 기여하며, 특히 CPM이 디스타일라이제이션 품질 향상에 가장 뚜렷한 기여를 한다는 것이 확인된다.
• 검증 실험 결과, 스타일 변수는 콘텐츠에 무관하며, 콘텐츠 인코더는 획 레이아웃 변화에 대해 강건함을 입증하여 효과적인 분리가 이루어졌음을 확인한다.