[논문 리뷰] GANwriting: Content-Conditioned Generation of Styled Handwritten Word Images

Lei Kang, Pau Riba외 4명|arXiv (Cornell University)|2020. 03. 05.

Generative Adversarial Networks and Image Synthesis참고 문헌 27인용 수 7

한 줄 요약

이 논문은 텍스트 내용과 서체 스타일 특징을 동시에 조건으로 삼아 실제적이고 다양한 손글씨 단어 이미지를 생성하는 조건부 GAN인 GANwriting을 제안한다. 적대적 훈련, 스타일 분류, 그리고 순서-순서 인식기의 조합을 통해 모델은 인간이 구분할 수 없는 샘플을 생성하며, 사전 정의된 어휘에 의존하지 않고도 콘텐츠 조건부 손글씨 이미지 생성에서 최신 기술 수준의 성능을 달성한다. 또한 제로샷 및 소수의 샘플을 통한 스타일 전이 기능을 지원한다.

ABSTRACT

Although current image generation methods have reached impressive quality levels, they are still unable to produce plausible yet diverse images of handwritten words. On the contrary, when writing by hand, a great variability is observed across different writers, and even when analyzing words scribbled by the same individual, involuntary variations are conspicuous. In this work, we take a step closer to producing realistic and varied artificially rendered handwritten words. We propose a novel method that is able to produce credible handwritten word images by conditioning the generative process with both calligraphic style features and textual content. Our generator is guided by three complementary learning objectives: to produce realistic images, to imitate a certain handwriting style and to convey a specific textual content. Our model is unconstrained to any predefined vocabulary, being able to render whatever input word. Given a sample writer, it is also able to mimic its calligraphic features in a few-shot setup. We significantly advance over prior art and demonstrate with qualitative, quantitative and human-based evaluations the realistic aspect of our synthetically produced images.

연구 동기 및 목표

• 기존의 GAN 기반 방법에서 실제적이고 다양한 합성 손글씨 단어 이미지의 부족을 해결하기 위해.
• 사전 정의된 어휘에 의존하지 않고도 콘텐츠 조건부 손글씨 단어 생성을 가능하게 하기 위해.
• 특정 글쓰기 스타일의 특징을 모방함으로써 소수의 예시 이미지로도 스타일 전이를 지원하기 위해.
• 이전의 비순환적 손글씨 생성 방법에서 발생하는 모드 붕괴와 낮은 시각적 품질 문제를 해결하기 위해.
• 다중 목표 학습을 통해 실제 손글씨 샘플과 구분이 불가능한 이미지를 생성하기 위해.

제안 방법

• 생성자는 텍스트 내용(문자 시퀀스로 표현됨)과 서예적 특성(기울기, 둥근 정도, 획 두께 등)을 나타내는 잠재 스타일 코드에 조건을 받는다.
• 모델은 세 가지 상호보완적인 학습 목표를 활용한다: 현실성 확보를 위한 적대적 손실, 스타일 전이를 위한 글쓰기자 분류 손실, 그리고 사전 훈련된 순서-순서 인식기를 통한 텍스트 무결성 유지 손실.
• 판별자는 생성된 이미지가 실제 손글씨 샘플과 시각적으로 구별되지 않도록 보장한다.
• 스타일 분류기는 생성된 이미지를 올바른 글쓰기자 정체성으로 매핑함으로써 샘플 간의 스타일 일관성을 강제한다.
• 인식 헤드는 생성된 이미지가 입력 텍스트를 정확히 전달하고 있는지 검증함으로써 콘텐츠 손상 방지를 보장한다.
• 다중 작업 손실 함수를 사용하여 모든 세 가지 목표를 동시에 최적화하는 훈련 파이프라인을 구현한다.

실험 결과

연구 질문

• RQ1 비순환적 GAN은 인간 평가에서 실제 샘플과 구별이 불가능한 실제적인 손글씨 단어 이미지를 생성할 수 있는가?
• RQ2 모델은 사전 정의된 어휘 없이도 임의의 텍스트 콘텐츠에 조건을 받는 다양한 고품질 손글씨 이미지를 생성할 수 있는가?
• RQ3 모델은 소수의 예시 이미지(소수 학습)로도 새로운 글쓰기 스타일로 효과적으로 전이하고 일반화할 수 있는가?
• RQ4 개별 학습 목표(적대적, 스타일, 인식)가 생성 샘플의 총합 품질과 다양성에 어떤 기여를 하는가?
• RQ5 모델은 모드 붕괴 문제를 얼마나 효과적으로 극복하고, 콘텐츠 및 스타일 무결성을 유지하면서 다양한 출력을 생성할 수 있는가?

주요 결과

• 모델의 세 가지 학습 목표를 모두 사용했을 때 프레셰 인ception 거리(Fréchet Inception Distance, FID)는 130.68를 기록하여 아블레이션 변형들보다 유의미하게 뛰어난 성능을 보였다.
• 인간 평가 결과, 생성된 이미지 중 49.3%만이 가짜로 정확히 식별되었으며, 이는 거의 인간 수준의 현실성과 55.4%의 가짜 긍정률을 의미한다.
• 아블레이션 연구를 통해 적대적, 스타일, 인식 손실의 세 가지 목표를 모두 조합하는 것이 콘텐츠 정확도와 스타일 일관성을 확보하는 데 필수적임을 확인했다.
• 인식 손실이 없을 경우, 모델는 입력에 관계없이 반복적으로 같은 단어(예: 'the')를 생성하는 모드 붕괴 현상을 겪었다.
• 스타일 분류기 손실은 소수 학습 상황에서도 특정 글쓰기자의 서예적 특징을 효과적으로 전이하는 데 핵심적인 역할을 했다.
• 모델는 훈련 어휘 외의 단어(Out-of-Vocabulary, OOV)를 고도로 시각적·문자적 무결성으로 성공적으로 생성하여 훈련 어휘를 초월한 일반화 능력을 입증했다.