[논문 리뷰] DeepWriting: Making Digital Ink Editable via Deep Generative Modeling

Emre Aksan, Fabrizio Pece외 1명|arXiv (Cornell University)|2018. 01. 25.

Handwritten Text Recognition Techniques참고 문헌 10인용 수 8

한 줄 요약

이 논문은 조건부 변동형 순환 신경망(C-VRNN)을 사용하여 글쓰기 스타일과 내용을 분리하는 딥 생성 모델인 DeepWriting을 소개한다. 이 모델은 스타일 전이, 단어 수준 편집, 텍스트에서 손글씨 생성을 통해 편집 가능한 디지털 잉크를 가능하게 한다. 주요 기여는 스타일과 내용을 분리하는 학습 가능한 잠재 표현을 제공하여 합성과 편집에 대한 완전한 제어를 가능하게 하면서도 개인의 글쓰기 특성을 유지하는 데 있다.

ABSTRACT

Digital ink promises to combine the flexibility and aesthetics of handwriting and the ability to process, search and edit digital text. Character recognition converts handwritten text into a digital representation, albeit at the cost of losing personalized appearance due to the technical difficulties of separating the interwoven components of content and style. In this paper, we propose a novel generative neural network architecture that is capable of disentangling style from content and thus making digital ink editable. Our model can synthesize arbitrary text, while giving users control over the visual appearance (style). For example, allowing for style transfer without changing the content, editing of digital ink at the word level and other application scenarios such as spell-checking and correction of handwritten text. We furthermore contribute a new dataset of handwritten text with fine-grained annotations at the character level and report results from an initial user evaluation.

연구 동기 및 목표

• 디지털 잉크를 편집 가능한 상태로 유지하면서도 개인화된 손글씨 스타일을 그대로 보존하는 데 도전하는 것.
• 내용과 스타일을 분리할 수 있는 딥 생성 모델을 개발하여 손글씨의 영구적인 편집과 합성을 유연하게 가능하게 하는 것.
• 스펠체크, 자동 수정, 스타일 전이 등의 애플리케이션을 손글씨 디지털 잉크에서 구현할 수 있도록 하는 것.
• 향후 연구를 지원하기 위해 294명의 저자로부터 수집한 대규모 캐릭터 애너테이션 데이터셋을 구축하고 공개하는 것.
• 커뮤니티의 채택과 확장에 기여하기 위해 모델의 오픈소스 구현을 제공하는 것.

제안 방법

• 방법론은 내용과 스타일을 별개의 잠재 변수로 모델링하며, 각각 다른 분포를 가진 조건부 변동형 순환 신경망(C-VRNN)을 사용한다.
• 내용은 순환 변동형 오토인코더(RVAE)를 통해 문자 시퀀스를 잠재 공간으로 인코딩하여 모델링한다.
• 스타일은 사용자 고유의 손글씨 특성인 기울기, 크기, 압력 등을 포착하는 별도의 잠재 분포를 통해 모델링된다.
• 내용과 스타일 잠재 변수를 독립적으로 제어할 수 있도록 새로운 학습 및 추론 알고리즘을 도입하여 조건부 생성을 가능하게 한다.
• 아키텍처는 조건부 합성 기능을 지원하며, 타이핑된 텍스트에서 잉크를 생성하거나, 다른 글쓰는 이의 스타일을 전이하거나, 개별 단어를 편집할 수 있다.
• 훈련 및 평가를 위해 원시 스타일러스 데이터에 캐릭터 수준의 세분화 파이프라인을 적용하여 정교한 애너테이션을 생성했다.

실험 결과

연구 질문

• RQ1 딥 생성 모델이 효과적으로 손글씨 스타일과 내용을 분리하여 편집 가능한 디지털 잉크를 가능하게 할 수 있는가?
• RQ2 내용 정확성을 유지하면서 다양한 글쓰는 이 간의 스타일 전이 성능은 어느 정도인가?
• RQ3 제안된 프레임워크를 통해 사용자가 손글씨를 단어 수준에서 얼마나 잘 편집할 수 있는가?
• RQ4 모델이 기울기 스타일과 비기울기 스타일 모두를 효과적으로 생성할 수 있는가?
• RQ5 세분화된 캐릭터 수준의 애너테이션은 모델 성능과 후속 응용 프로그램에 어떤 영향을 미치는가?

주요 결과

• 모델은 내용과 스타일을 성공적으로 분리하여 사용자가 정의한 외관을 가진 타이핑된 텍스트에서 디지털 잉크를 조건부로 합성할 수 있다.
• 사용자 평가 사례에서 내용을 변경하지 않은 채로 손글씨 샘플 간 스타일 전이가 가능하며, 이는 시스템의 유용성을 입증한다.
• 초기 평가에서 단어 수준의 디지털 잉크 편집은 실현 가능하며 사용자들에 의해 긍정적으로 평가된다.
• 비기울기 스타일(비연결 스타일)의 생성 품질이 기울기 스타일보다 높은 편이지만, 기울기 스타일 생성은 여전히 현재의 한계로 남아 있다.
• 294명의 저자로부터 수집한 캐릭터 수준 애너테이션을 가진 제안된 데이터셋은 IAM-OnDB를 강화하며, 손글씨 모델의 강력한 훈련과 평가를 가능하게 한다.
• 모델과 데이터셋의 오픈소스 구현체를 공개하여 재현성과 향후 연구 지원을 도모한다.