[論文レビュー] Fully Convolutional Recurrent Network for Handwritten Chinese Text Recognition

Zecheng Xie, Zenghui Sun+3 more|arXiv (Cornell University)|Apr 18, 2016

Handwritten Text Recognition Techniques参考文献 21被引用数 14

ひとこと要約

本稿では、ペン先の軌跡を符号化するためにパス・シグネチャを活用し、言語モデルを統合した洗練されたビームサーチを用いてデコードする、エンド・トゥ・エンドの手書き中国語テキスト認識のための完全畳み込み型再帰的ネットワーク（FCRN）を提案する。この手法は最先端の性能を達成し、CASIA-OLHWDBで96.40%、ICDAR 2013で95.00%の正解率を記録した。

ABSTRACT

This paper proposes an end-to-end framework, namely fully convolutional recurrent network (FCRN) for handwritten Chinese text recognition (HCTR). Unlike traditional methods that rely heavily on segmentation, our FCRN is trained with online text data directly and learns to associate the pen-tip trajectory with a sequence of characters. FCRN consists of four parts: a path-signature layer to extract signature features from the input pen-tip trajectory, a fully convolutional network to learn informative representation, a sequence modeling layer to make per-frame predictions on the input sequence and a transcription layer to translate the predictions into a label sequence. The FCRN is end-to-end trainable in contrast to conventional methods whose components are separately trained and tuned. We also present a refined beam search method that efficiently integrates the language model to decode the FCRN and significantly improve the recognition results. We evaluate the performance of the proposed method on the test sets from the databases CASIA-OLHWDB and ICDAR 2013 Chinese handwriting recognition competition, and both achieve state-of-the-art performance with correct rates of 96.40% and 95.00%, respectively.

研究の動機と目的

• 分離処理を回避し、直接ペン先の軌跡をモデル化することで、分離処理を伴わないエンド・トゥ・エンドの手書き中国語テキスト認識フレームワークの開発を目的とする。
• 洗練されたビームサーチを用いて言語モデルをデコードプロセスに統合することで、認識精度の向上を図ること。
• パス・シグネチャの異なる切断レベルでの動的筆跡特徴の捉え方の有効性を評価すること。
• 過剰な分離や複雑なラティスベースの手法に依存せずに、ベンチマークデータセットで最先端の性能を達成すること。
• 大規模な言語モデルコーパスが、シーケンス認識における誤り率の低減に与える影響を調査すること。

提案手法

• FCRNはパス・シグネチャ層を用い、オンライン手書きデータからのペン先軌跡の動的特性を一意に表現する2^{n+1}-1個の特徴マップを生成する。
• 完全畳み込みネットワークがシグネチャ特徴マップを処理し、各126×62の受容fieldに対応する文脈特徴のシーケンスを生成する。
• 多層の双方向LSTMが特徴シーケンスを処理し、軌跡内の長距離依存性をモデル化しながら、各フレームごとの文字確率を予測する。
• 転写層は、言語モデル制約を統合した洗練されたビームサーチを用いて、各フレームの予測を最終的なラベルシーケンスに変換する。
• 洗練されたビームサーチ法は、n-gram言語モデルとFCRNの出力を効率的に統合し、語彙的および文法的文脈を組み込むことで、デコード精度を向上させる。
• ネットワーク全体は、正解ラベルシーケンスの負の対数尤度を最小化することで、エンド・トゥ・エンドに学習される。

実験結果

リサーチクエスチョン

• RQ1 完全畳み込み型再帰的ネットワークは、生のペン先軌跡をモデル化することで、分離処理を伴わず手書き中国語テキストを効果的に認識できるか？
• RQ2 異なる切断レベル（n=0からn=3）におけるパス・シグネチャ表現が、認識性能と計算コストに与える影響は何か？
• RQ3 ビームサーチによる言語モデル統合が、エンド・トゥ・エンドHCTRシステムにおける認識精度をどの程度向上できるか？
• RQ4 SLL（5600万文字）のようなより大規模で豊富な言語モデルコーパスを用いることで、小規模なコーパスと比較して誤り率が顕著に低下するか？
• RQ5 CASIA-OLHWDBやICDAR 2013といった標準ベンチマークで、提案されたFCRNは、先行する最先端手法と比較してどのように差をつけるか？

主な発見

• パス・シグネチャを2次まで切断したFCRN（Sig2）が、性能と計算コストのバランスが最良であり、CASIA-OLHWDBで94.52%、D-Comで89.86%の正解率を達成した。
• SLDコーパスに基づくトライグラム言語モデルを統合することで、CASIA-OLHWDBで96.40%、D-Comで95.00%の正解率に向上し、両データセットですべての先行手法を上回った。
• 洗練されたビームサーチ法は認識結果を顕著に改善し、言語モデル統合時において誤り率を2%-5%低減した。
• FCRNはCRNNベースラインよりCASIA-OLHWDBで4.58ポイント、D-Comで4.95ポイント高い性能を示し、パス・シグネチャとエンド・トゥ・エンド学習の優位性を実証した。
• 両ベンチマークデータセットで最先端の性能を達成し、CASIA-OLHWDBで最高の正解率（96.40%）を記録し、ICDAR 2013でも高い結果を示した。
• D-CasiaではD-Comよりも性能が高かったが、これは文字分布の不均衡に起因し、一般化性能を向上させるためにデータ拡張の必要性が示唆された。