[논문 리뷰] SGCE-Font: Skeleton Guided Channel Expansion for Chinese Font Generation

Jie Zhou, Yefei Wang외 3명|arXiv (Cornell University)|2022. 11. 26.

Generative Adversarial Networks and Image Synthesis인용 수 6

한 줄 요약

이 논문은 GAN의 생성기 내에서 채널 확장을 통해 구조적 스켈레톤 정보를 통합함으로써 모드 붕괴를 효과적으로 줄이고 중국자 생성 품질을 향상시키는 새로운 스켈레톤 가이드 채널 확장 모듈 SGCE-Font을 제안한다. 이 방법은 다양한 모델 간에 일반화되며, FID, MSE, PSNR, SSIM와 같은 핵심 지표에서 최신 기술을 능가한다.

ABSTRACT

The automatic generation of Chinese fonts is an important problem involved in many applications. The predominated methods for the Chinese font generation are based on the deep generative models, especially the generative adversarial networks (GANs). However, existing GAN-based methods (say, CycleGAN) for the Chinese font generation usually suffer from the mode collapse issue, mainly due to the lack of effective guidance information. This paper proposes a novel information guidance module called the skeleton guided channel expansion (SGCE) module for the Chinese font generation through integrating the skeleton information into the generator with the channel expansion way, motivated by the observation that the skeleton embodies both local and global structure information of Chinese characters. We conduct extensive experiments to show the effectiveness of the proposed module. Numerical results show that the mode collapse issue suffered by the known CycleGAN can be effectively alleviated by equipping with the proposed SGCE module, and the CycleGAN equipped with SGCE outperforms the state-of-the-art models in terms of four important evaluation metrics and visualization quality. Besides CycleGAN, we also show that the suggested SGCE module can be adapted to other models for Chinese font generation as a plug-and-play module to further improve their performance.

연구 동기 및 목표

• GAN 기반 중국자 생성에서 지속적인 모드 붕괴 문제, 특히 CycleGAN와 같은 비지도 설정에서 해결한다.
• 국소적이고 전반적인 문자 구조를 모두 반영하는 구조적 스켈레톤 정보를 효과적인 가이드 신호로 활용하여 학습 안정성을 높인다.
• 기존 모델의 아키텍처를 대체하지 않고도 즉시 통합 가능한 플러그 앤 플레이 모듈을 개발하여 다양한 글꼴 번역 작업에서 성능을 향상시킨다.
• 채널 확장을 통한 생성기 측면의 가이드가 디스criminator 측면의 구조 정보 주입보다 더 효과적임을 입증한다.
• CycleGAN, UGATIT, StrokeGAN, FUNIT와 같은 여러 최신 기술 모델에 걸쳐 방법의 일반화 가능성을 검증한다.

제안 방법

• 스켈레톤 맵과 특징 맵을 채널별로 연결하고 1×1 컨볼루션을 사용하여 생성기 내에서 융합하는 스켈레톤 가이드 채널 확장(SGCE) 모듈을 도입한다.
• 스위치 토폴로지에서 유도된 이진 스켈레톤 맵을 사용해 중국 문자를 표현함으로써 세밀한 국소적 디테일과 전반적인 구조적 레이아웃을 모두 유지한다.
• 학습 가능한 채널 확장 메커니즘을 통해 스켈레톤 정보를 생성기의 특징 공간에 직접 주입함으로써 합성 과정에서 구조적 사전 지식에 주의를 기울일 수 있도록 한다.
• 다양한 GAN 아키텍처와 호환되는 SGCE 모듈을 설계하여 기존 모델에 즉각 통합할 수 있도록 한다.
• 생성기의 특징 학습을 향상시키기 위해 적대적 손실, 사이클 일致성 손실, 인지적 손실에 더해 스켈레톤 감독을 사용해 모델을 훈련시킨다.
• 다중 척도 전략을 설계하여 생성 과정에서 국소적 스트로크 패턴과 전반적인 문자 형태가 효과적으로 지도될 수 있도록 한다.

실험 결과

연구 질문

• RQ1 CycleGAN를 사용한 비지도 중국자 생성에서 스켈레톤 기반의 구조적 가이드가 모드 붕괴를 줄일 수 있는가?
• RQ2 채널 확장을 통한 생성기 측면의 구조 정보 주입이 디스criminator 측면의 가이드보다 더 효과적인가?
• RQ3 SGCE 모듈은 다양한 GAN 아키텍처에 일반화되어 성능 향상에 기여할 수 있는가?
• RQ4 SGCE 모듈은 StrokeGAN 및 SQ-GAN과 같은 기존 방법에 비해 정량적 지표와 시각적 품질 측면에서 어떻게 비교되는가?
• RQ5 스켈레톤 정보 통합이 특히 미리 보지 못한 복잡한 문자에 대해 더 정확하고 다양한 문자 생성을 이끌어내는가?

주요 결과

• 제안된 SGCE-Font 모델은 모든 글꼴 번역 작업에서 평균 FID 점수를 최고로 기록했으며, {hc → ls} 작업에서 24.959 FID, {zk → zx} 작업에서 21.837 FID를 기록하여 베이스라인 CycleGAN를 크게 능가했다.
• {ls → hc} 작업에서 SGCE-Font는 가장 낮은 FID(33.283)와 MSE(0.114)를 기록하여 우수한 이미지 품질과 재구성 정밀도를 입증했다.
• SGCE 모듈은 원본 CycleGAN 대비 FID를 최대 40%까지 감소시켜 모드 붕괴 억제 능력이 뛰어나다는 것을 보여주었다.
• StrokeGAN, UGATIT, FUNIT와 같은 다른 모델에 적용했을 때도 SGCE 모듈은 여러 작업에서 FID, MSE, PSNR, SSIM가 일관되게 향상되었다.
• 그림 9와 그림 10의 시각적 비교에서 SGCE-Font는 특히 복잡하거나 희귀한 문자에서 더 선명하고 구조적으로 정확한 문자를 생성하는 것으로 나타났다.
• 제거 분석 결과 생성기 내에서 스켈레톤 특징의 채널 확장 방식이 디스criminator 주입이나 주의 기반 메커니즘과 같은 다른 가이드 전략보다 더 효과적임을 확인했다.