[論文レビュー] Improved Deep Convolutional Neural Network For Online Handwritten Chinese Character Recognition using Domain-Specific Knowledge

Weixin Yang, Lianwen Jin+2 more|arXiv (Cornell University)|May 28, 2015

Handwritten Text Recognition Techniques参考文献 24被引用数 9

ひとこと要約

本稿では、筆者の特徴（筆の変形、パス・シグネチャー、8方向特徴など）を統合したハイブリッド・シリーズ・パラレル（HSP）アンサンブルアーキテクチャを用いた、オンライン手書き中国漢字認識のための改善された深層畳み込みニューラルネットワーク（DCNN）を提案する。本手法は、CASIA-OLHWDB1.0で97.20%、CASIA-OLHWDB1.1で96.87%の精度を達成し、先行する最先端手法を上回る性能を示した。

ABSTRACT

Deep convolutional neural networks (DCNNs) have achieved great success in various computer vision and pattern recognition applications, including those for handwritten Chinese character recognition (HCCR). However, most current DCNN-based HCCR approaches treat the handwritten sample simply as an image bitmap, ignoring some vital domain-specific information that may be useful but that cannot be learnt by traditional networks. In this paper, we propose an enhancement of the DCNN approach to online HCCR by incorporating a variety of domain-specific knowledge, including deformation, non-linear normalization, imaginary strokes, path signature, and 8-directional features. Our contribution is twofold. First, these domain-specific technologies are investigated and integrated with a DCNN to form a composite network to achieve improved performance. Second, the resulting DCNNs with diversity in their domain knowledge are combined using a hybrid serial-parallel (HSP) strategy. Consequently, we achieve a promising accuracy of 97.20% and 96.87% on CASIA-OLHWDB1.0 and CASIA-OLHWDB1.1, respectively, outperforming the best results previously reported in the literature.

研究の動機と目的

• 生の画像ピクセルを超えるドメイン固有の知識を活用することで、オンライン手書き中国漢字認識（HCCR）の性能を向上させること。
• 標準的なDCNNがオンライン筆跡における構造的および動的筆跡特性を無視するという限界を是正すること。
• 複数のドメイン固有特徴を統合した、強化された特徴表現を実現する複合DCNNフレームワークを設計すること。
• 多様なDCNNを統合するハイブリッド・シリーズ・パラレル（HSP）アンサンブル戦略を開発し、一般化性能と精度を向上させること。

提案手法

• オンライン筆跡の軌道における筆の変形を捉えるための変形モデリングを組み込む。
• 異なる筆跡スタイル間での筆跡パターンを標準化するために非線形正規化を適用する。
• 特徴学習における空間的文脈と構造的完全性を向上させるために、仮想の筆を導入する。
• 時間的および方向的筆跡ダイナミクスを符号化するためにパス・シグネチャー特徴を抽出する。
• 局所的な勾配パターンと方向的筆跡情報を取り込むために8方向特徴を計算する。
• 多様なDCNNをハイブリッド・シリーズ・パラレル（HSP）戦略により統合し、相補的な強みを活かし、耐性を高める。

実験結果

リサーチクエスチョン

• RQ1 筆の変形やパス・シグネチャーなどのドメイン固有の知識を統合することで、オンラインHCCRにおけるDCNNの性能が向上するか？
• RQ2 非線形正規化と仮想筆の導入が認識精度にどのように影響するか？
• RQ3 異なるドメイン固有特徴を持つ複数のDCNNを最適に統合する方法は何か？
• RQ4 提案されたHSPアンサンブル戦略は、ベンチマークデータセットにおいて標準DCNNや単一特徴モデルを上回る性能を示すか？

主な発見

• 提案手法は、CASIA-OLHWDB1.0データセットで97.20%の認識精度を達成し、以前の最先端手法を上回った。
• CASIA-OLHWDB1.1データセットでは96.87%の精度を達成し、異なる筆跡スタイルにわたる強力な一般化性能を示した。
• パス・シグネチャーと8方向パターンのようなドメイン固有特徴の統合が、特徴表現とモデル性能を顕著に向上させた。
• ハイブリッド・シリーズ・パラレル（HSP）アンサンブル戦略は、多様なDCNNを効果的に統合し、個々のモデルと比較して耐性と精度が向上した。
• 非線形正規化と仮想筆モデリングは、オンライン手書き漢字のクラス内変動を扱う上で有意義な寄与をした。
• 結果から、ドメイン固有の知識が適切に符号化され統合されれば、DCNNベースのHCCRシステムの性能が顕著に向上することが確認された。