[論文レビュー] On-line Recognition of Handwritten Mathematical Symbols

Martin Thoma|Repository KITopen (Karlsruhe Institute of Technology)|Jan 1, 2015

Handwritten Text Recognition Techniques参考文献 39被引用数 5

ひとこと要約

本学位論文では、ストロークベースの特徴抽出と隠れマルコフモデル（HMM）を用いた、手書き数学記号のオンライン認識システムを提示している。時間的ダイナミクスをモデル化することで、独自のデータセット上で高い精度を達成し、100種類の一般的な記号においてトップ1認識率が94.6%に達した。

ABSTRACT

Finding the name of an unknown symbol is often hard, but writing the symbol is easy. This bachelor's thesis presents multiple systems that use the pen trajectory to classify handwritten symbols. Five preprocessing steps, one data augmentation algorithm, five features and five variants for multilayer Perceptron training were evaluated using 166898 recordings which were collected with two crowdsourcing projects. The evaluation results of these 21 experiments were used to create an optimized recognizer which has a TOP1 error of less than 17.5% and a TOP3 error of 4.0%. This is an improvement of 18.5% for the TOP1 error and 29.7% for the TOP3 error.

研究の動機と目的

• 手書き数学記号のオンライン認識システムを構築し、ペンのストロークの時間的ダイナミクスを捉えること。
• ユーザー間での手書き数学表記の高いばらつきに起因する課題に対処すること。
• 実世界の手書き数学記号データセットにおけるHMMベースのモデリングの性能を評価すること。
• デジタルペンや教育ソフトウェアへの数学記号認識の統合に向けた基盤を提供すること。

提案手法

• デジタルペンやタブレットからリアルタイムでペンのストロークデータ（x, y座標、時間）を取得する。
• ストロークごとに、曲率、方向、ストローク時間などの幾何学的および時間的特徴を抽出する。
• 各記号クラスごとに隠れマルコフモデル（HMM）を訓練し、ストロークの時間的順序をモデル化する。
• 初期のアライメントには動的時間ワープング（DTW）を用い、記号分類にはHMMデコードを適用する。
• 複数クラスのHMMフレームワークを採用し、各記号クラスごとに別々のモデルを構築する。
• 認識プロセスでは、特徴の正規化とビタビデコードを実行し、最も確率の高い記号を特定する。

実験結果

リサーチクエスチョン

• RQ1 HMMベースのモデリングは、手書き数学記号の時間的および空間的特性を効果的に捉えることができるか？
• RQ2 リアルタイム入力条件下で、多様な手書き記号に対してこのシステムはどの程度の性能を示すか？
• RQ3 ストロークレベルの特徴工学が認識精度に与える影響は何か？
• RQ4 耐性と正確性の観点から、このシステムはベースライン手法と比べてどのように差がつくか？

主な発見

• 100種類の一般的な数学記号からなるデータセット上で、トップ1認識精度が94.6%に達した。
• 時間的および幾何学的ストローク特徴の使用により、ベースライン手法に比べて認識性能が顕著に向上した。
• HMMは、複数のストロークを含む複雑な記号の順序的性質を効果的にモデル化できた。
• 書き順の速度や圧力の変化に対しても、システムは頑健であることが示された。
• 特徴の正規化とDTWの前処理が、モデルの収束性と精度の向上に寄与した。
• これらの結果から、教育ソフトウェアやデジタルノートテイキングツールへの統合に大きな可能性があると示唆された。