[論文レビュー] DeepWriting: Making Digital Ink Editable via Deep Generative Modeling

Emre Aksan, Fabrizio Pece+1 more|arXiv (Cornell University)|Jan 25, 2018

Handwritten Text Recognition Techniques参考文献 10被引用数 8

ひとこと要約

本稿では、条件付き変分再帰ニューラルネットワーク（C-VRNN）を用いて筆記スタイルと内容を分離する深層生成モデル、DeepWritingを紹介する。これにより、スタイル転送、単語単位の編集、テキストから筆記への変換が可能な編集可能なデジタルインキが実現される。主な貢献は、スタイルとコンテンツを分離する学習可能な潜在表現を導入し、個々の筆記特徴を保ちながらも、合成と編集の完全な制御を可能にすることである。

ABSTRACT

Digital ink promises to combine the flexibility and aesthetics of handwriting and the ability to process, search and edit digital text. Character recognition converts handwritten text into a digital representation, albeit at the cost of losing personalized appearance due to the technical difficulties of separating the interwoven components of content and style. In this paper, we propose a novel generative neural network architecture that is capable of disentangling style from content and thus making digital ink editable. Our model can synthesize arbitrary text, while giving users control over the visual appearance (style). For example, allowing for style transfer without changing the content, editing of digital ink at the word level and other application scenarios such as spell-checking and correction of handwritten text. We furthermore contribute a new dataset of handwritten text with fine-grained annotations at the character level and report results from an initial user evaluation.

研究の動機と目的

• デジタルインキを編集可能にしつつも、個人の筆記スタイルを保持する課題に対処すること。
• 柔軟な編集と合成が可能な、コンテンツとスタイルを分離できる深層生成モデルの開発。
• スペルチェック、自動補正、スタイル転送などの応用を可能にする。
• 294人の著者から構成される大規模で文字レベルでアノテーションが付与された手書きテキストデータセットを収集・公開し、今後の研究を支援すること。
• コミュニティによる採用と拡張を促進するため、モデルのオープンソース実装を提供すること。

提案手法

• 本手法は、コンテンツとスタイルを別々の潜在変数として、それぞれ異なる分布を持つ条件付き変分再帰ニューラルネットワーク（C-VRNN）でモデル化する。
• コンテンツは、文字列を潜在空間に符号化する再帰的変分オートエンコーダ（RVAE）によってモデル化される。
• スタイルは、傾き、サイズ、圧力などのユーザー固有の筆記特徴を捉える別個の潜在分布によってモデル化される。
• コンテンツとスタイルの潜在変数を独立して制御できる、新しいトレーニングおよびサンプリングアルゴリズムを採用し、条件付き生成を可能にする。
• アーキテクチャは、入力されたテキストからインキを生成する条件付き合成、著者間でのスタイル転送、個々の単語の編集をサポートする。
• 訓練および評価のための細粒度なアノテーションを生成するために、生のスタイラスデータに文字単位のセグメンテーションパイプラインを適用した。

実験結果

リサーチクエスチョン

• RQ1 深層生成モデルは、編集可能なデジタルインキを実現するために、筆記スタイルとコンテンツを効果的に分離できるか？
• RQ2 コンテンツの正確性を保ちながら、異なる著者間でのスタイル転送はどの程度うまくいくか？
• RQ3 本フレームワークを用いて、ユーザーが手書きテキストを単語単位で編集できるか、その程度はいかほどか？
• RQ4 モデルは、草書体と非連絡体の両方の筆記スタイルをどれほどうまく生成できるか？
• RQ5 細粒度な文字単位のアノテーションは、モデルの性能および下流の応用にどのような影響を与えるか？

主な発見

• モデルはコンテンツとスタイルを効果的に分離し、ユーザーが定めた視覚的外観を持つ入力テキストからデジタルインキを条件付きで合成できることを示した。
• ユーザー評価のシナリオで、コンテンツを変更せずに筆記スタイルを異なるサンプル間で転送できることを実証した。
• 初期評価において、デジタルインキの単語単位の編集が実現可能であり、ユーザーから肯定的な反応を得られた。
• 非連絡体（非草書体）の筆記スタイルの生成において、より高い忠実度を達成しているが、草書体のスタイル生成については現在の限界のままである。
• 294人の著者から構成され、文字レベルでアノテーションが付与された本研究で提案されたデータセットは、IAM-OnDBを強化し、手書きモデルの堅牢な訓練と評価を可能にする。
• モデルおよびデータセットのオープンソース実装を公開し、再現性の確保とさらなる研究を支援している。