[논문 리뷰] SmartPatch: Improving Handwritten Word Imitation with Patch Discriminators

Alexander Mattick, Martin Mayr외 3명|arXiv (Cornell University)|2021. 05. 21.

Handwritten Text Recognition Techniques참고 문헌 26인용 수 24

한 줄 요약

이 논문은 손글씨 단어 생성에서 펜 수준의 아티팩트를 줄이기 위해 문자 수준의 국소화 및 인식 시스템 주의를 통합한 새로운 패치 기반 판별자인 SmartPatch를 제안한다. 가벼운 지식 증강 판별자를 통해 GANwriting 프레임워크를 개선함으로써 SmartPatch는 더 현실적이고 읽기 쉬운 합성 손글씨를 달성하였으며, 사용자 연구 및 FID, 인식 정확도와 같은 정량적 지표에서 최신 기법들을 능가한다.

ABSTRACT

As of recent generative adversarial networks have allowed for big leaps in the realism of generated images in diverse domains, not the least of which being handwritten text generation. The generation of realistic-looking hand-written text is important because it can be used for data augmentation in handwritten text recognition (HTR) systems or human-computer interaction. We propose SmartPatch, a new technique increasing the performance of current state-of-the-art methods by augmenting the training feedback with a tailored solution to mitigate pen-level artifacts. We combine the well-known patch loss with information gathered from the parallel trained handwritten text recognition system and the separate characters of the word. This leads to a more enhanced local discriminator and results in more realistic and higher-quality generated handwritten words.

연구 동기 및 목표

• 최신 오프라인 손글씨 단어 생성 모델에서 지속적인 펜 수준의 아티팩트 문제를 해결하여 현실성과 진정성을 향상시키기 위해.
• 특히 역사적 문헌 분석을 위한 손글씨 텍스트 인식(HTR) 시스템에서의 데이터 증강을 위해 합성 손글씨 단어의 품질을 향상시키기 위해.
• 시각적 패치와 인식 시스템 주의를 모두 활용하여 국소화된, 경량의 판별자를 개발하여 더 정확하고 문자 중심의 생성을 유도하기 위해.
• FID, HTR 인식 정확도, 사용자 연구를 통한 인간 평가 등 여러 지표를 통해 생성 결과의 현실성과 품질을 검증하기 위해.
• 병행 HTR 시스템으로부터의 사전 지식을 판별자에 통합함으로써 표준 패치 손실 접근 방식을 초월해 생성 정밀도를 향상시키는지 입증하기 위해.

제안 방법

• 개별 문자 중심의 작은 이미지 컷에 대해 작동하는 새로운 局부 패치 판별자를 도입하여 GANwriting 프레임워크를 확장한다.
• 세 가지 변종을 도입: NaivePatch(슬라이딩 윈도우), CenteredPatch(HTR 시스템의 주의 지도 기반), SmartPatch(진짜 문자 위치 정보를 통합한 주의 지도 기반).
• HTR 시스템의 주의 맵을 사용해 주목할 만한 문자 영역을 식별함으로써 판별자가 국소적인 흐름 품질과 문자 구조에 집중할 수 있도록 한다.
• 패치 판별자를 GAN 학습 루프에 추가 손실 항목으로 통합하여 전반적인 현실성과 국소적 문자 충실도를 함께 최적화한다.
• 생성자 학습에 다중 구성 손실을 사용: 적대적 손실, 글자 쓰기자 분류기 손실, HTR 인식 손실, 그리고 새로운 패치 기반 적대적 손실.
• 평가 중에 모든 생성된 이미지와 실제 이미지를 대조, 기준선, 배경 변화로부터의 편향을 제거하기 위해 정규화 및 정렬한다.

실험 결과

연구 질문

• RQ1 병행 HTR 시스템의 주의 맵을 통합한 패치 기반 판별자가 생성된 손글씨 단어에서 펜 수준의 아티팩트를 줄일 수 있는가?
• RQ2 진짜 문자 위치 정보를 패치 판별자에 통합하면 표준 패치 손실 대비 더 현실적이고 읽기 쉬운 합성 손글씨를 얻을 수 있는가?
• RQ3 FID 점수, HTR 인식 정확도, 인간 인식 측면에서 SmartPatch 방법이 GANwriting과 lineGen에 비해 어떻게 성능을 내는가?
• RQ4 인간 인식은 약간 자연스럽지 않은 스트로크 변동성조차도 더 읽기 쉬운 합성 손글씨를 얼마나 선호하는가?
• RQ5 FID 점수는 손글씨 생성을 평가하는 데 신뢰할 수 있는 지표인가, 아니면 인간 평가와 HTR 정확도가 더 잘 perceptual realism을 반영하는가?

주요 결과

• 사용자 연구에서 SmartPatch는 70.5%의 선택 비율을 기록하여 GANwriting(64.5%)과 lineGen(53.5%)을 크게 앞서며 더 높은 현실감을 인식당했다.
• 짧은 단어(1~3자)의 경우 SmartPatch는 72%의 선택 비율을 기록했는데, 이는 실제 IAM 이미지(54.4%)보다 높아 짧은 형태에서 더 나은 가독성과 명확성을 보였다.
• 이 방법은 펜 수준의 아티팩트를 줄였으며, 특히 작은 단어와 중간 크기의 단어에서 효과적이었고, GANwriting의 성능은 큰 단어(7~10자)에서 25% 이하로 떨어졌다.
• HTR 인식 정확도는 SmartPatch가 생성한 단어가 GANwriting보다 더 읽기 쉬운 것을 확인하여, 개선된 국소적 판별이 명확성 향상에 기여함을 뒷받对方했다.
• SmartPatch의 FID 점수는 GANwriting보다 낮아 실제 데이터와의 분포 유사도가 더 높았지만, 저자들은 손글씨 작업에 대해 FID의 신뢰성에 의문을 제기했다.
• 전반적으로 실제 이미지가 더 선호되었지만(66.0% 대 GANwriting), SmartPatch는 다른 합성 방법보다 더 가까이 다가갔으며, 특히 짧은 단어 시나리오에서 두각을 나타냈다.