[論文レビュー] Syntax-Aware Network for Handwritten Mathematical Expression Recognition

Ye Yuan, Xiao Liu+5 more|arXiv (Cornell University)|Mar 3, 2022

Handwritten Text Recognition Techniques被引用数 5

ひとこと要約

本論文は、文法規則と構文に配慮したアテンションをエンコーダ・デコーダフレームワークに統合する構文に配慮したネットワーク（SAN）を提示し、手書き数式認識（HMER）のためのものである。LaTeXシーケンス生成を木走査プロセスとしてモデル化することで、複雑なレイアウトや読みにくい手書きによる予測誤差を低減し、構造的正確性を向上させ、CROHMEおよび新規の大規模データセットHME100Kで最先端の性能を達成した。

ABSTRACT

Handwritten mathematical expression recognition (HMER) is a challenging task that has many potential applications. Recent methods for HMER have achieved outstanding performance with an encoder-decoder architecture. However, these methods adhere to the paradigm that the prediction is made "from one character to another", which inevitably yields prediction errors due to the complicated structures of mathematical expressions or crabbed handwritings. In this paper, we propose a simple and efficient method for HMER, which is the first to incorporate syntax information into an encoder-decoder network. Specifically, we present a set of grammar rules for converting the LaTeX markup sequence of each expression into a parsing tree; then, we model the markup sequence prediction as a tree traverse process with a deep neural network. In this way, the proposed method can effectively describe the syntax context of expressions, alleviating the structure prediction errors of HMER. Experiments on three benchmark datasets demonstrate that our method achieves better recognition performance than prior arts. To further validate the effectiveness of our method, we create a large-scale dataset consisting of 100k handwritten mathematical expression images acquired from ten thousand writers. The source code, new dataset, and pre-trained models of this work will be publicly available.

研究の動機と目的

• 複雑な2次元レイアウトや読みにくい手書きによる構造的予測誤差の課題に対処すること。
• シンタクス的関係を考慮しないでシンボルを逐次予測する標準的な画像からシーケンスへのモデルの限界を克服すること。
• 文法規則とニューラルアテンションを用いて、数学的式の階層的構文構造を明示的にモデル化する手法を開発すること。
• 実世界のHMERアプリケーションにおける堅牢な評価と今後の研究を支援するため、大規模かつ多様なHME100Kデータセットを構築すること。
• 深層学習アーキテクチャに文法的制約を統合することで、認識正確性と推論効率の両方を向上させること。

提案手法

• LaTeXマークアップシーケンスを構文木に分解できる独自の文法を定義し、数学的式の構造的表現を可能にする。
• シンタクスに配慮したデコーダを設計し、シンボルごとの逐次的処理ではなく、構文木のコンポONENTごとに走査することで、文法的文脈を保持する。
• 木構造に基づいて関連するコンポONENTに注目する構文に配慮したアテンションメカニズムを導入し、関係のないまたは誤ったシンボルへの注目を低減する。
• 手書き式画像から視覚的特徴を抽出するために完全畳み込みエンコーダを用い、その後に構文に配慮したアテンションを備えたデコーダでシーケンス生成を行う。
• LaTeXシーケンスの交差エントロピー損失を用いてエンドツーエンドのモデルを学習し、生成品質の向上のため推論時にビームサーチを適用する。
• カバレッジアテンションをベースラインとして組み込み、構文に配慮したアテンションが正しい構造的コンポONENTに焦点を当てる優位性を示す。

実験結果

リサーチクエスチョン

• RQ1 神経エンコーダ・デコーダフレームワークに明示的な文法規則を統合することで、HMERモデルの構造的正確性が向上するか？
• RQ2 文字単位の予測ではなく、木走査プロセスとしてシーケンス生成をモデル化することで、複雑な数学的式においてより良い性能が得られるか？
• RQ3 HMER推論中に、構文に配慮したアテンションは、標準のカバレッジアテンションと比較して正しいコンポONENTに焦点を当てるか？
• RQ4 提案手法は、サイズや複雑さの異なるデータセット、特に実世界の手書きデータに対してどの程度一般化可能か？
• RQ5 HME100Kのような大規模かつ多様なデータセットは、既存のベンチマークをはるかに超える、より堅牢なHMERシステム評価の基盤として機能できるか？

主な発見

• 提案された構文に配慮したネットワーク（SAN）は、CROHME 2014で56.2%の式認識正確性を達成し、先行する最先端手法を上回った。
• より困難なCROHME 2016データセットでは、SANは53.6%の正確性を達成し、構文に配慮したアテンションを用いることでベースラインから5.1%の向上を示した。
• 新たに導入されたHME100Kデータセットでは、SANは67.1%の認識正確性を達成し、より大規模で複雑なデータへの強い一般化能力を示した。
• アブレーションスタディにより、文法構文統合がCROHME 2014で正確性を6.2%向上させたことが確認され、構文に配慮したアテンションがさらに7.1%の向上をもたらした。
• HME100Kテストセットでは、SANはDWAP-TDの3.5倍速く、DWAPより2.6%速く、推論効率の高さを示した。
• 定性的な分析から、構文に配慮したアテンションは正しく構造的コンポONENTに焦点を当てているのに対し、カバレッジアテンションはしばしば不要または誤った部分木を誤って予測していた。