[論文レビュー] Improving Attention-Based Handwritten Mathematical Expression Recognition with Scale Augmentation and Drop Attention

Zhe Li, Lianwen Jin+2 more|arXiv (Cornell University)|Jul 20, 2020

Handwritten Text Recognition Techniques参考文献 27被引用数 7

ひとこと要約

この論文は、スケール増強とドロップアテンションを用いて性能を向上させる、手書き数式認識（HMER）のための新規なアテンションベースのエンコーダデコーダモデルを提案する。スケール増強は、アスペクト比を維持したままトレーニング中に画像をランダムにスケーリングすることで、変動する記号サイズに対する耐性を高める。ドロップアテンションは、信頼性の低いアテンション重みを抑制することでアテンション機構の信頼性を向上させ、アンサンブルを用いず、CROHME 2014 および 2016 データセットで最先端の結果を達成する。

ABSTRACT

Handwritten mathematical expression recognition (HMER) is an important research direction in handwriting recognition. The performance of HMER suffers from the two-dimensional structure of mathematical expressions (MEs). To address this issue, in this paper, we propose a high-performance HMER model with scale augmentation and drop attention. Specifically, tackling ME with unstable scale in both horizontal and vertical directions, scale augmentation improves the performance of the model on MEs of various scales. An attention-based encoder-decoder network is used for extracting features and generating predictions. In addition, drop attention is proposed to further improve performance when the attention distribution of the decoder is not precise. Compared with previous methods, our method achieves state-of-the-art performance on two public datasets of CROHME 2014 and CROHME 2016.

研究の動機と目的

• 2次元構造の非一様なスケーリングによって生じる変動する記号サイズの影響によりモデル性能が低下するという課題に対処すること。
• 特に、関係のないまたはノイズの多い特徴に注目する場合に、シーケンス生成におけるアテンション機構の信頼性を向上させること。
• スケール正規化を必要とせず、多様なスケールのMEに対して一般化性能を向上させるトレーニング段階の技術を開発すること。
• アンサンブル手法を用いず、標準的なオフライン画像データのみを用いて、公開HMERベンチマークで最先端の性能を達成すること。

提案手法

• スケール増強は、アスペクト比を維持したままトレーニング中にME画像をランダムにスケーリングし、その後固定サイズにゼロパディングすることで、スケール不変特徴を学習可能にする。
• アテンションベースのエンコーダデコーダネットワークを用い、エンコーダが画像を処理し、デコーダが文脈に配慮したアテンションを用いてLaTeXトークンを段階的に生成する。
• ドロップアテンションはトレーニング中にランダムにアテンション重みを抑制または無視することで、アテンションが不正確であってもモデルが頑健な特徴に依存するように強制する。
• モデルはCNNベースのエンコーダとRNNベースのデコーダを用い、デコーダの状態とエンコーダの特徴の間のアライメントスコアを計算するアテンション機構を備える。
• 損失関数は、正解LaTeXシーケンスと予測シーケンスの間の交差エントロピーであり、バックプロパゲーションにより最適化される。
• 本手法は、軌道データやプライベートなトレーニングセットに依存せず、LaTeXレベルのラベルのみを用いてオフラインME画像上でエンドツーエンドにトレーニングされる。

実験結果

リサーチクエスチョン

• RQ1 2次元構造の複雑さに起因する不均一な記号サイズを持つMEに対して、スケール増強はHMER性能を向上させ得るか？
• RQ2 トレーニング中にドロップアテンション機構を導入することで、アテンション分布が不正確または不安定な場合のモデルの頑健性が向上するか？
• RQ3 アンサンブル手法を用いず、精度と一般化性能の観点から、本手法は最先端のHMERモデルと比較して優れているか？
• RQ4 スケール増強とドロップアテンションの組み合わせにより、CROHME 2014 および 2016 のような標準ベンチマークで、公式トレーニングデータのみを用いてSOTAの結果を達成できるか？

主な発見

• CROHME 2014 テストセットでは、アンサンブルを用いない場合に56.59%、アンサンブルを用いる場合に60.45%の精度を達成し、以前のSOTAであるPAL-v2をそれぞれ5.58%および7.71%上回った。
• CROHME 2016 テストセットでは、アンサンブルを用いない場合に54.58%、アンサンブルを用いる場合に58.06%の精度を達成し、以前のSOTAであるPAL-v2をそれぞれ4.97%および0.17%上回った。
• プライベートデータを一切使用せず、CROHME 2016 で1位を獲得したWirisシステムを大きく上回り、54.58%のExpRateを達成した。
• アブレーションスタディにより、スケール増強とドロップアテンションの両方が独立して性能向上に寄与していることが確認され、スケール増強はサイズ変動に対する耐性を向上させ、ドロップアテンションはアテンションの信頼性を向上させた。
• 多様な筆跡スタイルや複雑な2次元構造に対しても、モデルは良好に一般化し、下付きや上付きの添え字、ネストされた式を正しく認識できた。
• 可視化結果から、モデルは判別性の高い記号特徴に注目するよう学習しており、たとえ「{」のような文法記号に注目が逸らされても、正しいLaTeXシーケンスを生成できることが示された。