[論文レビュー] PingAn-VCGroup's Solution for ICDAR 2021 Competition on Scientific Table Image Recognition to Latex

Yelin He, Xianbiao Qi+6 more|arXiv (Cornell University)|May 5, 2021

Handwritten Text Recognition Techniques参考文献 13被引用数 7

ひとこと要約

本論文は、ICDAR 2021 科学的表画像認識からLaTeXへのコンペティションにおけるPingan-vcgroupのソリューションを提示する。表構造とコンテンツ再構築を画像からシーケンスへのタスクとして扱うために最適化されたMASTERモデルを活用している。モデルの改良としてRanger最適化法、データ拡張、解像度スケーリング、SyncBN、特徴マッピングの連結、アンサンブル学習を適用し、表構造再構築では0.7444のExact Matchと0.8765のExact Match @95%、表コンテンツ再構築では0.5586のExact Matchと0.7386のExact Match @95%の成績を達成した。

ABSTRACT

This paper presents our solution for the ICDAR 2021 Competition on Scientific Table Image Recognition to LaTeX. This competition has two sub-tasks: Table Structure Reconstruction (TSR) and Table Content Reconstruction (TCR). We treat both sub-tasks as two individual image-to-sequence recognition problems. We leverage our previously proposed algorithm MASTER \cite{lu2019master}, which is originally proposed for scene text recognition. We optimize the MASTER model from several perspectives: network structure, optimizer, normalization method, pre-trained model, resolution of input image, data augmentation, and model ensemble. Our method achieves 0.7444 Exact Match and 0.8765 Exact Match @95\% on the TSR task, and obtains 0.5586 Exact Match and 0.7386 Exact Match 95\% on the TCR task.

研究の動機と目的

• 複雑で多様な表構造を有する科学的表画像を、意味的に正確なLaTeXコードに変換する課題に対処すること。
• 表構造再構築（TSR）と表コンテンツ再構築（TCR）の2つのサブタスクの性能向上を図ること。両タスクとも画像からシーケンスへの認識問題として取り扱う。
• ネットワークアーキテクチャ、トレーニング戦略、データ処理技術の調整を通じて、MASTERモデルを表認識に最適化すること。
• 小規模なデータセットと一貫性のないアノテーションの問題を、データ拡張、アンサンブル学習、事前学習後の微調整によって軽減すること。

提案手法

• TSRとTCRの両タスクを、元々シーンテキスト認識を目的として開発されたMASTERモデルを用いて画像からシーケンスへの認識タスクとして扱う。
• 主なモデル最適化として、収束性を向上させるためにRAdam、LookAhead、勾配中央化を統合したRanger最適化法を採用する。
• 大規模な入力解像度と限られたバッチサイズのマルチGPUトレーニングに対応するため、同期バッチ正則化（SyncBN）を適用する。
• 長大なシーケンスのデコードに向けた特徴表現学習を強化するため、Transformerデコーダ層の特徴を連結する手法（FeaC）を導入する。
• 300×200から800×400までの複数の入力画像解像度を評価し、構造およびコンテンツ認識に最適なスケールを特定する。
• シアー、アフィン変換、透視変換、明るさ、コントラスト、彩度の変換を含む広範なデータ拡張を実施し、モデルのロバスト性と一般化性能を向上させる。

実験結果

リサーチクエスチョン

• RQ1 既存のシーンテキスト認識モデルであるMASTERを、科学的表画像からLaTeXへの変換に効果的に適応する方法は何か？
• RQ2 どのようなトレーニング最適化法とアーキテクチャの変更の組み合わせが、表構造およびコンテンツ再構築タスクで最高の性能をもたらすか？
• RQ3 異なる入力解像度とデータ拡張戦略は、未学習のテストデータに対するモデルの一般化性能と精度にどのように影響するか？
• RQ4 アンサンブル学習と大規模な事前学習データセット（大規模な領域特化データセット）を用いた微調整は、小規模でドメイン特化された表認識ベンチマークでどの程度の性能向上をもたらすか？

主な発見

• 最終モデルは、表構造再構築（TSR）タスクで0.7444のExact Matchと0.8765のExact Match @95%を達成した。
• 表コンテンツ再構築（TCR）タスクでは、テストセットで0.5586のExact Matchと0.7386のExact Match @95%を達成した。
• アンサンブル学習により性能が顕著に向上し、最高のTSR成績（0.8765 EM@95%）は、異なるデータ拡張法および解像度で学習されたモデルを組み合わせた場合にのみ達成された。
• Transformerデコーダ層の特徴連結（FeaC）は、TSR性能に約0.7%の向上をもたらした。
• データ拡張により性能が約0.5%向上し、大規模な事前学習データセット（TABLE2LATEX-450K）を用いた微調整により、ドメインのズレがあるにもかかわらず顕著な性能向上が得られた。
• より大きな入力解像度はTCR性能を向上させたが、TSRではより小さな解像度が優れていた。これはコンテンツの詳細と構造への注目というトレードオフを示している。