[논문 리뷰] Coconditional Autoencoding Adversarial Networks for Chinese Font Feature Learning

Zhizhan Zheng, Feiyun Zhang|arXiv (Cornell University)|2018. 12. 11.

Generative Adversarial Networks and Image Synthesis참고 문헌 13인용 수 5

한 줄 요약

이 논문은 쌍체 치환 최적화를 통해 두 개의 인코딩 네트워크를 훈련시켜 중국 한자 문자 이미지를 내용 및 스타일 특징으로 분리하는 새로운 프레임워크인 공조건셔널 오토에인코딩 적대망(CocoAAN)을 제안한다. 또한 적대적 생성망을 통해 실제적인 중국 문자를 생성한다. 이 모델은 수동으로 성분을 분할하지 않아도 예측되지 않은 폰트와 문자에 대해 강력한 일반화 성능을 보이며, 비지도 학습 방식으로 강력한 분리 및 스타일/내용 전이 능력을 입증한다.

ABSTRACT

In this work, we propose a novel framework named Coconditional Autoencoding Adversarial Networks (CocoAAN) for Chinese font learning, which jointly learns a generation network and two encoding networks of different feature domains using an adversarial process. The encoding networks map the glyph images into style and content features respectively via the pairwise substitution optimization strategy, and the generation network maps these two kinds of features to glyph samples. Together with a discriminative network conditioned on the extracted features, our framework succeeds in producing realistic-looking Chinese glyph images flexibly. Unlike previous models relying on the complex segmentation of Chinese components or strokes, our model can "parse" structures in an unsupervised way, through which the content feature representation of each character is captured. Experiments demonstrate our framework has a powerful generalization capacity to other unseen fonts and characters.

연구 동기 및 목표

• 수동로 한자 폰트 디자인의 높은 비용과 복잡성을 해결하기 위해 글리프 합성을 자동화한다.
• 성분 또는 획을 수동으로 분할하지 않고도 중국 문자의 분리된 내용 및 스타일 표현을 학습한다.
• 비지도 특징 학습을 통해 예측되지 않은 폰트와 문자로의 일반화를 가능하게 한다.
• 기존의 VAE나 GAN 기반 방법들과 비교해 생성 품질과 스타일 전이 정밀도를 향상시킨다.
• 통합적으로 훈련 가능한 프레임워크에서 다양한 폰트와 문자 간의 스타일과 내용의 공유 특성을 모델링한다.

제안 방법

• 스타일 특징와 내용 특징을 각각 담당하는 두 개의 인코딩 네트워크를 사용하며, 이들은 쌍체 치환 최적화 전략을 통해 분리가 이루어지도록 훈련된다.
• 생성망 네트워크는 스타일과 내용 특징를 연결하여 합성한 이미지를 생성하며, 적대적 훈련을 통해 실제적인 출력을 도출한다.
• 판별망 네트워크는 추출된 스타일과 내용 특징에 조건을 걸어 생성 샘플의 현실성에 대한 제약을 강화한다.
• 모델는 서로 다른 폰트와 문자 간에 공유되는 스타일과 내용 표현을 활용하는 공조건셔널 오토에인코딩 메커니즘을 사용한다.
• 배치 기반으로 특징 벡터를 평균화하여 예측되지 않은 폰트와 문자에 대한 새로운 스타일 및 내용 임베딩을 추론한다.
• t-SNE 시각화를 통해 공통된 획을 가진 문자들이 유의미하게 군집화됨을 확인하여, 비지도 구조적 학습이 이루어졌음을 검증한다.

실험 결과

연구 질문

• RQ1 수동으로 성분을 분할하지 않고도 딥 러닝 모델이 중국 한자 글리프 이미지를 의미 있는 내용 및 스타일 표현으로 자동 분리할 수 있는가?
• RQ2 모델는 예측되지 않은 폰트와 문자에서 실제적인 글리프를 얼마나 잘 생성할 수 있는가?
• RQ3 학습된 스타일 및 내용 특징는 부드러운 보간과 의미 있는 스타일 전이를 지원할 수 있는가?
• RQ4 쌍체 치환 최적화 전략이 내용 및 스타일 특징 간의 분리를 효과적으로 강제하는가?
• RQ5 재구성 품질과 일반화 능력 측면에서 기존의 VAE 및 GAN 기반 접근법과 비교해 모델의 성능은 어떠한가?

주요 결과

• 시각적 비교 결과에서 CocoAAN이 생성한 샘플이 정답 이미지와 유사하게 고해상도(128×128)에서도 높은 정확도로 재구성되었음을 확인했다.
• 스타일 잠재 공간에서의 선형 보간은 얇은 글꼴에서 두꺼운 글꼴로의 부드러운 전환을 만들어내어, 모델이 의미 있고 연속적인 스타일 표현을 학습했다는 것을 확인한다.
• 내용 인코딩 네트워크는 잠재 공간에서 유사한 획을 가진 문자들을 함께 군집화함으로써, 명시적인 구조적 지도 없이도 비지도로 구조적 이해를 이룬다는 것을 보여준다.
• 모델는 예측되지 않은 폰트로 잘 일반화된다: 테스트 데이터로부터 새로운 스타일 특징를 추론하여 타당한 글리프를 생성한다. 다만 일부 세부 사항(예: 서피스)은 가끔 손실된다.
• 희귀 및 GB-2312 기반의 고전적 형태의 예측되지 않은 문자로도 일반화가 가능하며, 대부분의 문자가 정확하게 생성되었지만 일부는 획 겹침이나 왜곡을 보였다.
• VAE 및 GAN 기반의 기준 모델들과 비교해 CocoAAN은 더 선명하고 현실적인 샘플을 생성하며, 특히 스타일 전이 및 내용 일반화 측면에서 더 뛰어난 분리 및 일반화 성능을 보였다.