[論文レビュー] Image-to-Markup Generation with Coarse-to-Fine Attention

Yuntian Deng, Anssi Kanervisto+2 more|arXiv (Cornell University)|Sep 16, 2016

Mathematics, Computing, and Information Processing被引用数 85

ひとこと要約

本稿では、画像からマークアップ（特にLaTeX）を生成するニューラルエンコーダデコーダモデルに、粗くから細かくまでの注目メカニズムを提案する。マルチロー列挙エンコーダと、まず支援領域を選択し、その後に細かい注目を適用する二段階の注目メカニズムを用いることで、計算コストを低減しつつ、実世界のレンダリング済み数式で77.46%の一致精度を達成した。これは古典的OCRシステムを上回り、微調整により手書きデータに対しても優れた一般化性能を示した。

ABSTRACT

We present a neural encoder-decoder model to convert images into presentational markup based on a scalable coarse-to-fine attention mechanism. Our method is evaluated in the context of image-to-LaTeX generation, and we introduce a new dataset of real-world rendered mathematical expressions paired with LaTeX markup. We show that unlike neural OCR techniques using CTC-based models, attention-based approaches can tackle this non-standard OCR task. Our approach outperforms classical mathematical OCR systems by a large margin on in-domain rendered data, and, with pretraining, also performs well on out-of-domain handwritten data. To reduce the inference complexity associated with the attention-based approaches, we introduce a new coarse-to-fine attention layer that selects a support region before applying attention.

研究の動機と目的

• 手作業による文法やレイアウトルールに依存せず、画像から構造的なマークアップ（例：LaTeX）を直接生成するデータ駆動型ニューラルモデルの開発。
• 順序生成における標準的注目メカニズムの高い計算コストを解消するため、注目照合回数を削減する粗くから細かくまでの注目メカニズムの導入。
• 実世界のレンダリング済み数式とLaTeXマークアップがペairedされた大規模な新規データセットを用いて、モデルの評価。
• 合成手書きデータで微調整することで、出域の手書きデータへの一般化を評価。
• 注目ベースのモデルが、数式認識のようなレイアウトに敏感な非標準OCRタスクにおいて、CTCベースのOCRシステムを上回ることを実証。

提案手法

• 入力画像を特徴マップに変換するための畳み込みニューラルネットワーク（CNN）を用い、その後に垂直レイアウトと空間構造をモデル化するマルチロー列挙エンコーダを適用。
• 粗くから細かくまでの注目メカニズムを導入：粗い段階のソフト注目が支援領域（例：4×4グリッド）を選択し、細かい段階の注目はその領域内でのみ実行することで計算量を削減。
• 粗い段階の注目は、精度と効率のバランスを取るために、REINFORCEに硬い注目変種またはスパースマックスを用いて訓練。
• デコーダは、画像特徴と以前の予測に条件づけられた自己回帰的RNNであり、1トークンずつLaTeXトークンを生成。
• 本稿で新たに作成されたデータセット、Im2Latex-100k（10万件の実世界のレンダリング済み数式と対応するLaTeXマークアップを含む）を用いて、クロスエントロピー損失でエンドツーエンドに訓練。
• ゼロショット一般化実験のため、CROHMEベンチマークデータで使用可能な合成手書きデータセットを生成。

実験結果

リサーチクエスチョン

• RQ1 明示的なレイアウト文法やセグメンテーションに依存せず、レンダリング済み数式画像から正確なLaTeXマークアップを生成できるエンドツーエンドのニューラルモデルは構築可能か？
• RQ2 粗くから細かくまでの注目メカニズムは、画像からマークアップ生成の推論複雑性を効果的に低減しつつ、高い精度を維持できるか？
• RQ3 合成手書きデータで事前学習したモデルは、限られた域内データしかなくとも、実際の手書き数式に一般化可能か？
• RQ4 レイアウトや構造が複雑な非標準OCRタスクにおいて、注目ベースのモデルはCTCベースのアプローチと比べて性能が優れているか？
• RQ5 マルチローエンコーダ、位置埋め込み、粗くから細かくまでの注目など、各コンポonentの最終的なモデル性能への寄与度は何か？

主な発見

• 提案モデルはIm2Latex-100kテストセットで77.46%の一致精度を達成し、域内レンダリング済みデータにおいて古典的数学OCRシステムを顕著に上回った。
• 粗くから細かくまでの注目メカニズムにより、細かい注目照合回数が標準的注目での355回から硬い注目での16回に削減され、精度はわずか2.5%低下した。
• スパースマックス変種の粗くから細かくまでの注目は76.15%の精度を達成し、16回の細かい照合回数を用いており、効率性と性能の良いトレードオフを実現した。
• マルチロー列挙エンコーダは性能向上に大きく寄与しており、単一ローまたは非列挙型エンコーダーよりも高い精度を示した。
• 16,000件の学習例のみで50%の精度に到達したが、データ量が増えるにつれて性能は向上した。
• 合成手書きデータで事前学習した後、CROHME 2013および2014データセットで微調整することで、トップ商用システムと同等の性能を達成したが、MyScriptはより多くの域内データにアクセスしていたため、それほど優れていた。