[論文レビュー] Drawing and Recognizing Chinese Characters with Recurrent Neural Network

Xu-Yao Zhang, Fei Yin+3 more|arXiv (Cornell University)|Jun 21, 2016

Handwritten Text Recognition Techniques被引用数 30

ひとこと要約

本稿では、LSTMおよびGRUアーキテクチャを用いて、エンド・ト・エンドの方法で連筆の手書き中国漢字を同時に認識・生成する統合型再帰ニューラルネットワーク（RNN）フレームワークを提案する。この手法は、ICDAR-2013データセットで最先端の認識精度を達成し、文字埋め込みとペン状態モデリングを用いた条件付き生成モデルにより、人間が読み取り可能な、認識可能な文字を生成する。

ABSTRACT

Recent deep learning based approaches have achieved great success on handwriting recognition. Chinese characters are among the most widely adopted writing systems in the world. Previous research has mainly focused on recognizing handwritten Chinese characters. However, recognition is only one aspect for understanding a language, another challenging and interesting task is to teach a machine to automatically write (pictographic) Chinese characters. In this paper, we propose a framework by using the recurrent neural network (RNN) as both a discriminative model for recognizing Chinese characters and a generative model for drawing (generating) Chinese characters. To recognize Chinese characters, previous methods usually adopt the convolutional neural network (CNN) models which require transforming the online handwriting trajectory into image-like representations. Instead, our RNN based approach is an end-to-end system which directly deals with the sequential structure and does not require any domain-specific knowledge. With the RNN system (combining an LSTM and GRU), state-of-the-art performance can be achieved on the ICDAR-2013 competition database. Furthermore, under the RNN framework, a conditional generative model with character embedding is proposed for automatically drawing recognizable Chinese characters. The generated characters (in vector format) are human-readable and also can be recognized by the discriminative RNN model with high accuracy. Experimental results verify the effectiveness of using RNNs as both generative and discriminative models for the tasks of drawing and recognizing Chinese characters.

研究の動機と目的

• 画像のような表現を用いず、ドメイン特化の前処理を回避するエンド・ト・エンドのオンライン手書き中国漢字認識システムの開発。
• 深層生成モデルを用いた中国漢字の自動的筆算（描画）という未だあまり検討されていないタスクに取り組む。
• 識別的モデルと生成的モデルを、連筆中国漢字の認識と合成の両方をカバーする単一のRNNフレームワークで統合する。
• 2次元画像表現に変換せず、順序付きデータを直接活用することで、認識性能を向上させる。

提案手法

• エンド・ト・エンドのオンライン手書き中国漢字認識のため、双方向LSTMおよびGRUネットワークを用いて、ペン先の軌跡（x, y, ペンを上げる/下げる）を順序付きにモデリングする。
• 多様で正確な文字の筆画を生成するために、生成的RNNを制御するための文字埋め込みを条件入力として使用する。
• ペン状態遷移（ペンを上げる/下げる）を離散出力としてモデリングし、生成中の筆画の開始と終了を制御する。
• ガウス・ミックスチュア・モデル（GMMs）を用いてペンの方向をモデリングするシーケンス・ツー・シーケンス枠組みで、条件付き生成RNNを訓練し、筆跡スタイルの多様性を確保する。
• 識別的モデルと生成的モデルを共通のRNNアーキテクチャに統合することで、共同学習と潜在的なデータ拡張を可能にする。
• 生成モデルを用いて、人間が読み取り可能で、識別的RNNによっても高い精度で認識可能なベクトル形式の文字図を生成する。

実験結果

リサーチクエスチョン

• RQ1 画像ベースの表現を用いず、エンド・ト・エンドのRNNがオンライン手書き中国漢字認識で最先端の性能を達成できるか？
• RQ2 文字埋め込みを条件とする条件付きRNNは、現実的で認識可能な連筆中国漢字を効果的に生成できるか？
• RQ3 同じRNNアーキテクチャが、認識のための識別的モデルと筆算のための生成的モデルの両方として機能できるか？
• RQ4 誤解を招きやすい文字クラスの影響は生成品質にどのように現れ、モデルの注目機構や損失関数をどのように改善すればこの問題を緩和できるか？
• RQ5 生成モデルを識別的モデルの訓練データ拡張に使用できるか、あるいは識別的モデルが生成モデルを正則化できるか？

主な発見

• 提案されたRNNベースの認識システムは、画像のような表現を必要とするCNNベースの手法よりも、ICDAR-2013コンペティションデータセットで最先端の性能を達成した。
• 生成的RNNモデルは、人間が読み取り可能で、識別的RNNによっても高い精度で認識可能なベクトル形式の文字を効果的に生成した。
• 誤解を招きにくいクラスの文字は100%の認識精度で生成されたが、形状の差が微細な誤解を招きやすいクラスでは認識精度が低かった。
• モデルは、ドメイン特化の前処理を施さずに、筆跡軌跡における空間的および時間的依存関係を効果的に捉えることができることを示した。
• 研究は、生成モデルが識別的モデルのデータ拡張戦略として利用可能であることを確認した。これは、マルチタスクフレームワークにおける共同学習の可能性を示唆している。
• 著者らは、誤解を招きやすい文字ペairのための損失関数の改善や、注目機構や記憶メカニズムの統合が、生成品質のさらなる向上に寄与する可能性があると特定した。