[論文レビュー] Multi-Scale Attention with Dense Encoder for Handwritten Mathematical Expression Recognition

Jianshu Zhang, Jun Du+1 more|arXiv (Cornell University)|Jan 5, 2018

Handwritten Text Recognition Techniques参考文献 25被引用数 20

ひとこと要約

本論文は、手書き数式認識のための密接なエンコーダーとマルチスケールアテンション機構を提案し、特徴抽出を向上させるとともに、プーリング処理で失われる微細な詳細を保持する。DenseNetを統合することで勾配の流れを強化し、マルチスケールアテンションにより高解像度および低解像度の特徴を同時に注目できるようにすることで、公式トレーニングデータのみを用いてCROHME 2014で52.8%、CROHME 2016で50.1%の最先端性能を達成した。

ABSTRACT

Handwritten mathematical expression recognition is a challenging problem due to the complicated two-dimensional structures, ambiguous handwriting input and variant scales of handwritten math symbols. To settle this problem, we utilize the attention based encoder-decoder model that recognizes mathematical expression images from two-dimensional layouts to one-dimensional LaTeX strings. We improve the encoder by employing densely connected convolutional networks as they can strengthen feature extraction and facilitate gradient propagation especially on a small training set. We also present a novel multi-scale attention model which is employed to deal with the recognition of math symbols in different scales and save the fine-grained details that will be dropped by pooling operations. Validated on the CROHME competition task, the proposed method significantly outperforms the state-of-the-art methods with an expression recognition accuracy of 52.8% on CROHME 2014 and 50.1% on CROHME 2016, by only using the official training dataset.

研究の動機と目的

• 手書き数式認識における複雑な2次元構造、筆跡の曖昧さ、および変動する記号のスケールといった課題に対処すること。
• 従来の方法が事前定義された文法や複雑なパーサーに依存するという制限を克服すること。
• CNNベースのエンコーダーにおけるプーリング処理で失われる特徴表現の微細な詳細を向上させること。
• 明示的な記号セグメンテーションを不要とする、エンドツーエンドで学習可能なデータ駆動型モデルの開発

提案手法

• 小規模データセットでも特徴抽出を強化し、勾配の流れを改善するため、密接な畳み込みネットワーク（DenseNet）をエンコーダーとして採用する。
• 低解像度（意味的特徴が豊富）および高解像度（詳細を保持）の両方の特徴マップを生成するマルチスケール密接エンコーダーを導入する。
• デコーダーがシーケンス生成中に高解像度および低解像度の両ブランチからの特徴を注目できるように、マルチスケールアテンション機構を設計する。
• アテンションベースのエンコーダー・デコーダー枠組みを採用し、デコーダーがマルチスケール特徴を介して関連する画像領域に注目しながら、LaTeX文字列をトークン単位で生成する。
• DenseNetにおけるスキップ接続を活用し、すべての直前レイヤーの特徴マップを連結することで、特徴の再利用と表現学習を強化する。
• 画像からLaTeXシーケンスへのマッピングにおいて交差エントロピー損失を用い、推論時にはビームサーチを適用することで、エンドツーエンドでモデルを学習する。

実験結果

リサーチクエスチョン

• RQ1 標準的なCNNと比較して、密接なエンコーダーは手書き数式認識における特徴表現と認識精度を向上させることができるか？
• RQ2 マルチスケールアテンションを組み込むことで、プーリング処理で失われる微細な視覚的詳細（特に小数点のような小さな記号）を回復できるか？
• RQ3 本手法は、公式トレーニングデータのみを用いて、CROHME 2014およびCROHME 2016といった標準ベンチマークで最先端のアプローチと比較して、どの程度の性能を示すか？
• RQ4 マルチスケールアテンション機構は、小規模または曖昧な記号に対する過小解析エラーをどの程度低減できるか？
• RQ5 外部または非公式トレーニングデータに依存せずに、異なるデータセットに対して十分に一般化できるか？

主な発見

• 提案手法は、公式トレーニングデータのみを用いてCROHME 2014テストセットで52.8%の式認識精度を達成し、他のすべてのシステムを上回った。
• CROHME 2016ベンチマークでは50.1%の精度を達成し、2番目に良いシステム（Wiris）の49.6%を上回り、優れた一般化性能を示した。
• マルチスケールアテンション機構により、小数点や「7」のような小さな記号が、単一スケールアテンションモデルでは見逃されがちな状況でも効果的に回復された。
• 可視化結果から、高解像度アテンションブランチが、『3.14』における小数点のような微細な詳細を検出でき、低解像度特徴マップでは失われる場合があることが確認された。
• 密接エンコーダーは、特に限られたトレーニングデータにおいて特徴学習と勾配の流れを向上させることで性能向上に寄与した。
• CROHME 2014では1文字の誤差以内の予測で72.7%の精度を達成し、高いロバストネスとさらなる改善の可能性を示した。