[論文レビュー] SmartPatch: Improving Handwritten Word Imitation with Patch Discriminators

Alexander Mattick, Martin Mayr+3 more|arXiv (Cornell University)|May 21, 2021

Handwritten Text Recognition Techniques参考文献 26被引用数 24

ひとこと要約

本稿では、ペンレベルのアーティファクトを低減するために文字レベルの局所化と認識システムの注目メカニズムを統合する、新しいパッチベースのディスクラミネーターであるSmartPatchを提案する。軽量で知識を補強したディスクラミネーターをGANwritingフレームワークに統合することで、より現実的で読みやすい合成手書き文字が得られ、FIDや認識精度といった定量的指標、およびユーザースタディーにおいて最先端の手法を上回る結果を達成した。

ABSTRACT

As of recent generative adversarial networks have allowed for big leaps in the realism of generated images in diverse domains, not the least of which being handwritten text generation. The generation of realistic-looking hand-written text is important because it can be used for data augmentation in handwritten text recognition (HTR) systems or human-computer interaction. We propose SmartPatch, a new technique increasing the performance of current state-of-the-art methods by augmenting the training feedback with a tailored solution to mitigate pen-level artifacts. We combine the well-known patch loss with information gathered from the parallel trained handwritten text recognition system and the separate characters of the word. This leads to a more enhanced local discriminator and results in more realistic and higher-quality generated handwritten words.

研究の動機と目的

• 最先端のオフライン手書き文字生成モデルに根強く残るペンレベルのアーティファクトの問題に取り組み、リアルさと真正性を低下させることを目的とする。
• 特に歴史的文書解析を対象とする手書きテキスト認識（HTR）システムにおけるデータ拡張のため、合成手書き文字の品質を向上させることを目的とする。
• 視覚的パッチと認識システムの注目度を活用し、局所的でキャラクターアウェアな生成を可能にする、軽量で局所的なディスクラミネーターを開発することを目的とする。
• FID、HTR認識精度、およびユーザースタディーによる人間評価を含む複数の指標を通じて、生成出力のリアルさと品質を検証することを目的とする。
• 並列のHTRシステムから得られる事前知識をディスクラミネーターに組み込むことで、標準的なパッチ損失アプローチを上回る生成の忠実度が向上することを示すこと

提案手法

• 個々の文字の中心にある小さな画像クロップを処理する新しい局所的パッチディスクラミネーターを、GANwritingフレームワークに拡張する。
• 3つの変種を導入：NaivePatch（スライディングウィンドウ）、CenteredPatch（HTRシステムからの注目度に従って誘導）、SmartPatch（真値の文字位置を組み込んだ注目度に従って誘導）。
• HTRシステムの注目マップを用いて顕著な文字領域を特定し、ディスクラミネーターが局所的なスティック品質や文字構造に注目できるようにする。
• GAN学習ループにパッチディスクラミネーターを追加の損失項として統合し、グローバルなリアルさとローカルなキャラクター忠実度の両方を同時に最適化する。
• 生成器を、敵対的損失、ライター分類器損失、HTR認識損失、および新しいパッチベースの敵対的損失の複数成分損失で訓練する。
• 評価時に、すべての生成済み画像と実画像をコントラスト、ベースライン、背景のばらつきの影響を排除するために、正規化・アライメントする。

実験結果

リサーチクエスチョン

• RQ1 並列のHTRシステムからの注目マップを統合するパッチベースのディスクラミネーターは、生成された手書き文字におけるペンレベルのアーティファクトを低減できるか？
• RQ2 真値の文字位置をパッチディスクラミネーターに統合することで、標準的なパッチ損失と比較して、合成手書き文字のリアルさと可読性が向上するか？
• RQ3 FIDスコア、HTR認識精度、および人間の知覚という観点から、提案手法のSmartPatchはGANwritingおよびlineGenと比較してどの程度の性能を示すか？
• RQ4 人間の知覚は、わずかにスティックのばらつきが自然さに欠けるものの、可読性が高い合成手書き文字をどれほど好むか？
• RQ5 FIDスコアは、手書き文字生成の評価に信頼できる指標であるか、それとも人間評価やHTR認識精度の方が知覚的なリアルさをよりよく反映しているか？

主な発見

• ユーザースタディーにおいてSmartPatchは70.5%のピック率を達成し、GANwriting（64.5%）およびlineGen（53.5%）を大きく上回り、より優れた知覚的リアルさを示した。
• 短い単語（1〜3文字）ではSmartPatchが72%のピック率を記録したが、これは実際のIAM画像（54.4%）を上回っており、コンパクトな形態においても可読性と明瞭性が向上していることを示唆している。
• ペンレベルのアーティファクトが低減され、特に小・中規模の単語において顕著で、GANwritingの性能は10文字以上の長大な単語では25%未満に低下した。
• HTR認識精度は、SmartPatchが生成した文字がGANwritingより可読性が高かったことを確認しており、局所的識別性能の向上が可読性の向上に寄与していることを裏付けている。
• SmartPatchのFIDスコアはGANwritingより低く、実データとの分布的類似性が優れていることを示しているが、著者らはFIDが手書きタスクにおいて信頼性があるとは限らないと懸念している。
• 全体として実画像が依然として好まれた（66.0% vs. GANwriting）、が、SmartPatchは他の合成手法と比較して最も近い成績を示しており、特に短い単語の状況で顕著であった。