[論文レビュー] When Counting Meets HMER: Counting-Aware Network for Handwritten Mathematical Expression Recognition

Bohan Li, Ye Yuan+6 more|arXiv (Cornell University)|Jul 23, 2022

Handwritten Text Recognition Techniques被引用数 4

ひとこと要約

本稿では、弱教師付きカウントモジュールを用いて、手書き数式認識（HMER）と記号カウントを同時に最適化するエンドツーエンドフレームワーク、Counting-Aware Network（CAN）を提案する。LaTeXアノテーションを追加ラベルなしに活用することで、注意メカニズムの精度を向上させ、認識誤りを低減し、計算コストの増加を最小限に抑えつつ、CROHMEデータセットで最先端の性能を達成した。

ABSTRACT

Recently, most handwritten mathematical expression recognition (HMER) methods adopt the encoder-decoder networks, which directly predict the markup sequences from formula images with the attention mechanism. However, such methods may fail to accurately read formulas with complicated structure or generate long markup sequences, as the attention results are often inaccurate due to the large variance of writing styles or spatial layouts. To alleviate this problem, we propose an unconventional network for HMER named Counting-Aware Network (CAN), which jointly optimizes two tasks: HMER and symbol counting. Specifically, we design a weakly-supervised counting module that can predict the number of each symbol class without the symbol-level position annotations, and then plug it into a typical attention-based encoder-decoder model for HMER. Experiments on the benchmark datasets for HMER validate that both joint optimization and counting results are beneficial for correcting the prediction errors of encoder-decoder models, and CAN consistently outperforms the state-of-the-art methods. In particular, compared with an encoder-decoder model for HMER, the extra time cost caused by the proposed counting module is marginal. The source code is available at https://github.com/LBH1024/CAN.

研究の動機と目的

• HMERにおけるエンコーダデコーダモデルの注意メカニズムの不安定性、特に複雑または長大な数式の状況での問題を解決すること。
• HMERと記号カウントの相補的関係を調査し、カウントが注意の局所化と認識精度を向上させることを提案すること。
• 記号レベルのバウンディングボックスアノテーションを必要とせず、標準的なHMERアノテーション（LaTeXシーケンス）のみを用いる弱教師付きカウントモジュールを設計すること。
• HMERとカウントを統合的に最適化できるエンドツーエンドで学習可能なネットワークを構築し、より高いロバスト性と一般化性能を実現すること。

提案手法

• LaTeXシーケンスのみを監視信号として用いる弱教師付きカウントモジュール（MSCM）を提案し、位置アノテーションを必要としない。
• 注意ベースのエンコーダデコーダモデル（例：DWAP）にMSCMを統合し、HMERとカウントの両方を同時に最適化するCounting-Aware Network（CAN）を構築する。
• 予測されたカウントマップを空間的注意信号として活用し、下付きや上付き記号などの局所化精度を向上させる。
• HMERとカウント信号の両方を活用する文脈に配慮したデコーダ（CCAD）を採用し、逐次デコード中に注意の精度を向上させる。
• HMERとカウントの両方の目的関数を組み合わせたマルチタスク損失を用いて、エンドツーエンドでネットワークを学習する。カウント監視には平均絶対誤差（MAE）と平均二乗誤差（MSE）を用いる。
• CROHME 2014、2016、2019ベンチマークで手法を検証し、DWAP や ABM などの強力なベースラインと比較した。

実験結果

リサーチクエスチョン

• RQ1 複雑なレイアウトや長大なシーケンスを持つ状況において、記号カウントがエンコーダデコーダモデルの注意精度を向上させることができるか？
• RQ2 LaTeXシーケンスのみを用いる弱教師付きカウントは、完全にアノテートされたカウントと比較して、HMER性能にどのように影響するか？
• RQ3 HMERとカウントの共同最適化が、認識精度とカウントの信頼性の両面でどの程度向上をもたらすか？
• RQ4 共有表現学習を通じて、HMERタスク自体がカウントモジュールの性能向上に寄与するか？
• RQ5 提案されたカウントモジュールは顕著な推論コストを増加させ、実世界の導入に実用的か？

主な発見

• CANはCROHME 2014、2016、2019で最先端の性能を達成し、ABMをベースラインとして用いた場合、正確一致率はそれぞれ57.26%、56.15%、55.96%を記録した。
• DWAPをベースラインとして用いた場合、CANはCROHME 2014で57.00%、CROHME 2016で56.06%、CROHME 2019で54.88%の正確一致率を達成し、元のモデルを上回った。
• 正解のカウントベクトルを用いることで、CROHME 2014での正確一致率は62.44%に上昇し、正確なカウント監視の強力な影響を示した。
• HMERとカウントを共同最適化した際、MAEとMSEはそれぞれ31.25%、15.91%低下し、HMERがカウント精度の向上に寄与していることが示された。
• カウントモジュールによる追加の推論時間コストは最小限であり、リアルタイム応用における実用性が確認された。
• 可視化結果から、CANはベースラインモデルが注目できなかった誤って省略されたまたは余分な記号（例：'dy'、'∑'、'i'）を正しく局所化していることが確認された。