[論文レビュー] Translating Math Formula Images to LaTeX Sequences Using Deep Neural Networks with Sequence-level Training

Zelun Wang, Jyh‐Charn Liu|arXiv (Cornell University)|Aug 29, 2019

Handwritten Text Recognition Techniques参考文献 39被引用数 9

ひとこと要約

本稿では、シーケンスレベルの学習を用いて、数式画像をLaTeXシーケンスに翻訳するエンコーダ・デコーダアーキテクチャを備えた深層ニューラルネットワークを提案する。モデルは2次元位置符号化を備えたCNNエンコーダと、ソフトアテンションを備えた双方向LSTMデコーダを採用し、露出バイアスを軽減し、IM2LATEX-100Kデータセットで最先端の性能を達成するために方策勾配法で訓練される。

ABSTRACT

In this paper we propose a deep neural network model with an encoder-decoder architecture that translates images of math formulas into their LaTeX markup sequences. The encoder is a convolutional neural network (CNN) that transforms images into a group of feature maps. To better capture the spatial relationships of math symbols, the feature maps are augmented with 2D positional encoding before being unfolded into a vector. The decoder is a stacked bidirectional long short-term memory (LSTM) model integrated with the soft attention mechanism, which works as a language model to translate the encoder output into a sequence of LaTeX tokens. The neural network is trained in two steps. The first step is token-level training using the Maximum-Likelihood Estimation (MLE) as the objective function. At completion of the token-level training, the sequence-level training objective function is employed to optimize the overall model based on the policy gradient algorithm from reinforcement learning. Our design also overcomes the exposure bias problem by closing the feedback loop in the decoder during sequence-level training, i.e., feeding in the predicted token instead of the ground truth token at every time step. The model is trained and evaluated on the IM2LATEX-100K dataset and shows state-of-the-art performance on both sequence-based and image-based evaluation metrics.

研究の動機と目的

• 数式画像をLaTeXマークアップシーケンスに正確に翻訳するニューラルネットワークモデルの開発。
• シーケンス生成における露出バイアス問題を、学習中にフィードバックループを閉じることで解決する。
• 最大尤度推定に加えて、ポリシー勾配ベースの最適化を用いてシーケンスレベルの性能を向上させる。
• エンコーダーにおける2次元位置符号化を活用し、数式記号の空間的理解を強化する。
• 画像ベースおよびシーケンスベースの評価指標において、IM2LATEX-100Kで最先端の結果を達成する。

提案手法

• エンコーダーは、入力の数式画像から特徴マップを抽出するための畳み込みニューラルネットワーク（CNN）を用いる。
• 特徴マップは、記号間の空間的関係を保持するために2次元位置符号化で強化される。
• エンコーダーの出力は、デコーダーへの入力となるベクトルのシーケンスに展開される。
• デコーダーは、ステップバイステップでLaTeXトークンを生成するために、ソフトアテンションを備えたスタックされた双方向LSTMである。
• モデルはまず、トークンレベルでの最大尤度推定（MLE）により訓練される。
• その後、デコード時に真値ではなく予測トークンを入力することで露出バイアスを低減するため、シーケンスレベルの学習がポリシー勾配アルゴリズムを用いて適用される。

実験結果

リサーチクエスチョン

• RQ1 シーケンスレベルの学習を用いた深層ニューラルネットワークは、標準的なMLE学習に比べ、数式画像をLaTeXに翻訳する性能を上回ることができるか？
• RQ2 2次元位置符号化の統合は、数式記号の空間的構造をどれほど効果的に捉えられるか？
• RQ3 デコーダーでフィードバックループを閉じることで、シーケンス生成中の露出バイアスはどの程度軽減されるか？
• RQ4 ポリシー勾配のファインチューニングは、BLEU や ROUGE といったシーケンスレベルの指標を向上させるか？
• RQ5 IM2LATEX-100Kベンチマークにおける本モデルの性能は、先行する最先端手法と比較してどの程度か？

主な発見

• 本モデルは、IM2LATEX-100Kデータセットにおいて、シーケンスベースおよび画像ベースの両方の評価指標で最先端の性能を達成した。
• ポリシー勾配法を用いたシーケンスレベルの学習は、単独のトークンレベルMLE学習に比べ、生成品質を顕著に向上させた。
• シーケンスレベルの学習中にフィードバックループを閉じることで、露出バイアス問題が効果的に軽減された。
• 2次元位置符号化の使用により、数式表現における記号間の空間的関係を捉える能力が向上した。
• 未学習の数式画像に対しても、高いBLEUおよびROUGEスコアを示す強力な一般化性能を発揮した。
• CNNエンコーダ、双方向LSTMデコーダにアテンションを組み合わせ、シーケンスレベル最適化を統合することで、堅牢かつ正確なLaTeXシーケンス生成が実現した。