[論文レビュー] A GRU-based Encoder-Decoder Approach with Attention for Online Handwritten Mathematical Expression Recognition

Jianshu Zhang, Jun Du+1 more|arXiv (Cornell University)|Dec 4, 2017

Handwritten Text Recognition Techniques参考文献 27被引用数 12

ひとこと要約

本稿では、トラジェクトリーシーケンスを活用して記号認識と構造解析を同時に実行する、カバレッジベースのアテンションを備えたエンド・ツー・エンドのGRUベースのエンコーダ・デコーダモデルを、オンライン手書き数式認識（OHMER）に対して提案する。本モデルは、公式トレーニングデータのみを用いてCROHME 2014ベンチマークで52.43%の式認識精度を達成し、アテンション機構を通じて空間的関係やセグメンテーションを自動で学習することにより、先行する最先端手法を上回る性能を発揮する。

ABSTRACT

In this study, we present a novel end-to-end approach based on the encoder-decoder framework with the attention mechanism for online handwritten mathematical expression recognition (OHMER). First, the input two-dimensional ink trajectory information of handwritten expression is encoded via the gated recurrent unit based recurrent neural network (GRU-RNN). Then the decoder is also implemented by the GRU-RNN with a coverage-based attention model. The proposed approach can simultaneously accomplish the symbol recognition and structural analysis to output a character sequence in LaTeX format. Validated on the CROHME 2014 competition task, our approach significantly outperforms the state-of-the-art with an expression recognition accuracy of 52.43% by only using the official training dataset. Furthermore, the alignments between the input trajectories of handwritten expressions and the output LaTeX sequences are visualized by the attention mechanism to show the effectiveness of the proposed method.

研究の動機と目的

• 明示的なセグメンテーションや事前定義された文法に依存する順序的およびグローバルなOHMER手法の限界を解消すること。
• 数学的文法に関する事前知識なしに、記号認識、セグメンテーション、構造解析を統合的に実行するエンド・ツー・エンドのディープラーニングフレームワークの構築。
• GRU-RNNエンコーダとカバレッジベースのアテンションデコーダを活用して、オンライントラジェクトリーデータを活用することで認識精度の向上を図ること。
• アテンションアライメントの可視化を通じて、モデルが手書き式において直感的な空間的関係をどのように学習しているかを示すこと。

提案手法

• エンコーダは、2次元のトラジェクトリーポイントを高次元表現に変換するため、双方向GRUのスタックを用いる。これにより、空間的および順序的文脈を捉える。
• デコーダは、一方向GRUにカバレッジベースのアテンション機構を組み合わせ、LaTeX形式の出力を逐次的に生成する。
• アテンション機構は、関連する入力トラジェクトリーシーケンスに動的に注目し、記号の境界や、上付き・下付き、水平・垂直配置といった空間的関係を暗黙的に学習する。
• カバレッジ機構は、以前に注目した領域を追跡することで、重複した注目を防ぎ、アライメントの安定性を向上させる。
• モデルは、1つの微分可能フレームワーク内で、記号認識と構造解析の両方を同時に最適化するように訓練される。
• 入力トラジェクトリープリプロセッシングでは、生の(x, y, タイムスタンプ)ポイントから特徴抽出を行い、RNN用の入力シーケンスを構築する。

実験結果

リサーチクエスチョン

• RQ1 明示的なセグメンテーションや事前定義された文法に依存せずに、エンド・ツー・エンドのアテンションベースのエンコーダ・デコーダモデルがオンライン手書き数式を効果的に認識できるか。
• RQ2 アテンション機構は、上付き・下付き、分数など、複雑な2次元空間的関係をどれほどうまく学習・表現できるか。
• RQ3 標準的なアテンションと比較して、カバレッジベースのアテンション機構を組み込むことで、認識性能とアライメントの解釈可能性が向上するか。
• RQ4 モデルのアテンション可視化が、人間の直感的な記号および構造の局所化とどの程度一致するか。
• RQ5 公式トレーニングデータのみを用いた場合、本手法は最先端のOHMERシステムと比較して認識精度で優れているか。

主な発見

• 提案手法は、CROHME 2014のテストセットで52.43%の式認識精度を達成し、公式トレーニングデータのみを用いた先行の最先端手法を顕著に上回る。
• アテンション機構は、入力トラジェクトリーシーケンスと出力LaTeXトークンの間で適切にアライメントをとることができており、可視化結果から、基底記号の開始・終了部や、上付き・下付き領域といった関連領域に注目していることが示された。
• モデルは、事前定義された文法やルールベースのパーサーに依存せずに、自動的に記号セグメンテーションと構造解析を実行している。
• カバレッジベースのアテンション機構により、アテンションの安定性が向上し、重複注目が減少し、性能向上に寄与した。
• 誤り分析の結果、過剰翻訳エラーは主に1つの記号が2つに分割された場合（例：単一の記号が2つに分断）に発生し、不足翻訳エラーは重要なストローク（例：マイナス記号）が逆順に描かれた場合に発生することが判明した。
• 上付き記号関係を検出すると、自動的にLaTeXの中かっこを正しく生成しており、モデルが文法的構造を暗黙的に学習できていることを示している。