[論文レビュー] Stroke Constrained Attention Network for Online Handwritten Mathematical Expression Recognition

Jiaming Wang, Jun Du+1 more|arXiv (Cornell University)|Feb 20, 2020

Handwritten Text Recognition Techniques参考文献 49被引用数 6

ひとこと要約

本稿では、筆記のストロークを特徴表現およびアテンションアライメントの基本単位として扱うことで、オンライン形式の数式認識のための新しいエンコーダ・デコーダフレームワーク、Stroke Constrained Attention Network (SCAN) を提案する。オンライン（トレースベース）およびオフライン（画像ベース）の両モダリティからのストロークレベル特徴を活用することで、アテンションアライメントの向上、デコードの高速化、マルチモーダル情報の早期統合を実現し、CROHMEベンチマークで57.20%の式認識精度および73.94%の構造認識精度を達成し、最先端の性能を発揮した。

ABSTRACT

In this paper, we propose a novel stroke constrained attention network (SCAN) which treats stroke as the basic unit for encoder-decoder based online handwritten mathematical expression recognition (HMER). Unlike previous methods which use trace points or image pixels as basic units, SCAN makes full use of stroke-level information for better alignment and representation. The proposed SCAN can be adopted in both single-modal (online or offline) and multi-modal HMER. For single-modal HMER, SCAN first employs a CNN-GRU encoder to extract point-level features from input traces in online mode and employs a CNN encoder to extract pixel-level features from input images in offline mode, then use stroke constrained information to convert them into online and offline stroke-level features. Using stroke-level features can explicitly group points or pixels belonging to the same stroke, therefore reduces the difficulty of symbol segmentation and recognition via the decoder with attention mechanism. For multi-modal HMER, other than fusing multi-modal information in decoder, SCAN can also fuse multi-modal information in encoder by utilizing the stroke based alignments between online and offline modalities. The encoder fusion is a better way for combining multi-modal information as it implements the information interaction one step before the decoder fusion so that the advantages of multiple modalities can be exploited earlier and more adequately when training the encoder-decoder model. Evaluated on a benchmark published by CROHME competition, the proposed SCAN achieves the state-of-the-art performance.

研究の動機と目的

• トレース点や画像ピクセルといった低レベル特徴に依存するため、HMERにおけるアテンションベースの記号セグメンテーションが不正確になるという課題に対処すること。
• ペンのダウン/アップ行動の自然なグループであるストロークを、エンコーダ・デコーダモデルにおける基本単位として扱うことで、認識性能の向上とデコード効率の改善を図ること。
• デコードの前段階でオンラインおよびオフラインモダリティをストロークレベルでアライメントすることで、HMERにおけるより効果的なマルチモーダル統合を可能にすること。
• オンラインHMERにおける遅延または順不同のストロークの制限を克服するため、オフライン画像からのグローバルコンテキストを活用すること。

提案手法

• オンラインモダリティ用にCNN-GRUエンコーダを用い、トレースシーケンスから点レベル特徴を抽出し、その後ストローク制約を用いてストロークレベル特徴に変換する。
• オフラインモダリティでは、CNNエンコーダが静的画像からピクセルレベル特徴を抽出し、同様にストロークレベル表現に変換する。
• デコーダはストロークレベル特徴に基づくアテンションメカニズムを採用しており、より正確で安定した記号セグメンテーションと認識を実現する。
• マルチモーダル設定では、エンコーダレベルでストロークベースのアライメントを用いてオンラインおよびオフライン特徴を統合し、より早期かつ効果的な情報相互作用を可能にする。
• 本手法は、ストロークレベル表現を活用することでアテンションのアライメントを向上させ、デコード中に処理するトークン数を削減する、新しいアテンションメカニズムを導入している。
• フレームワークは単一モダリティ（オンライン／オフライン）およびマルチモーダルHMERをサポートし、エンド・ツー・エンドのトレーニングと推論が可能である。

実験結果

リサーチクエスチョン

• RQ1 HMERにおいてストロークを基本単位として扱うことで、アテンションアライメントと認識精度が向上するか？
• RQ2 点／ピクセルレベル特徴ではなくストロークレベル特徴を用いることで、デコードの計算コストが低減するか？
• RQ3 ストロークベースのアライメントによるオンラインおよびオフラインモダリティの早期統合は、後期統合や独立したモダリティ処理を上回る性能を発揮するか？
• RQ4 本モデルは、オンライン筆記における遅延または順不同のストロークといった困難なケースをどのように処理するか？
• RQ5 ストロークレベル表現は、曖昧または標準でない書込み順序に対して、HMERのロバストネスをどの程度向上させるか？

主な発見

• SCANはCROHME 2014ベンチマークで57.20%の式認識精度および73.94%の構造認識精度を達成し、最先端の性能を発揮した。
• E-MANシステムと比較してテスト時間を50%短縮し、オフラインWAPシステムでさえも下回る高速な推論を実現したが、高い精度を維持した。
• アテンション可視化の結果、早期統合のMMSCAN-Eは遅延ストロークの処理において、後期統合のMMSCAN-Dよりも一貫性があり正確なアテンションアライメントを生成した。
• ストローク数はトレース点や画像ピクセル数に比べて顕著に少ないため、アテンション機構におけるデコード速度が向上し、計算コストが低減した。
• MMSCAN-Eのエンコーダレベル統合は、オフライン画像からのグローバルコンテキストを活用することで、遅延ストローク問題を効果的に解決したが、MMSCAN-Dはモダリティ間のアテンションが一貫しないため失敗した。
• ストローク制約付き特徴変換により、特徴表現が向上し、デコーダにおける記号セグメンテーションと認識の難易度が低下した。