[論文レビュー] ScanSSD: Scanning Single Shot Detector for Mathematical Formulas in PDF Document Images

Parag Mali, Puneeth Kukkadapu+2 more|arXiv (Cornell University)|Mar 17, 2020

Mathematics, Computing, and Information Processing被引用数 15

ひとこと要約

ScanSSD は、スライディングウィンドウと投票ベースのプーリングを用いたワンショット検出器（SSD）を用いた、数式の視覚的のみに依存する深層学習ベースの検出器であり、複数スケールでの数式検出を実現する。文字レベルの数学的検出では 0.925 の F スコア、公式検出では IOU ≥ 0.5 時に 0.796 の F スコアを達成し、レイアウト、フォント、OCR データに依存しない TFD-ICDAR2019v2 ベンチマークで優れた性能を示している。

ABSTRACT

We introduce the Scanning Single Shot Detector (ScanSSD) for locating math formulas offset from text and embedded in textlines. ScanSSD uses only visual features for detection: no formatting or typesetting information such as layout, font, or character labels are employed. Given a 600 dpi document page image, a Single Shot Detector (SSD) locates formulas at multiple scales using sliding windows, after which candidate detections are pooled to obtain page-level results. For our experiments we use the TFD-ICDAR2019v2 dataset, a modification of the GTDB scanned math article collection. ScanSSD detects characters in formulas with high accuracy, obtaining a 0.926 f-score, and detects formulas with high recall overall. Detection errors are largely minor, such as splitting formulas at large whitespace gaps (e.g., for variable constraints) and merging formulas on adjacent textlines. Formula detection f-scores of 0.796 (IOU $\\geq0.5$) and 0.733 (IOU $\\ge 0.75$) are obtained. Our data, evaluation tools, and code are publicly available.

研究の動機と目的

• 構造的またはフォーマットに関するメタデータ（レイアウト、フォント、文字ラベルなど）に依存せずに、生まれたデジタルPDFおよびスキャン済みPDFの両方で動作する数式検出システムを開発すること。
• 表示済みおよび埋め込み数式の両方に適用可能な、ロバストでエンドツーエンドの視覚的検出パイプラインを構築すること。
• GTDB データセットから派生させ、スケールおよび翻訳に関する改善されたアノテーションを備えた、新しいベンチマークデータセット（TFD-ICDAR2019v2）と評価ツールを提供すること。
• 画像レベルの特徴のみを用いて、数学的記号および数式領域の高精度な検出を実現し、今後の数学的コンテンツのインデックス化および検索を支援すること。

提案手法

• 600 dpi のドキュメントページ画像にワンショット検出器（SSD）を適用し、スライディングウィンドウを用いて複数スケールでの数式領域を検出する。
• 縦横比が大きい広い数学的式に適応させるために、1×5 のデフォルトボックスを用い、正方形の受容野によるノイズを低減する。
• 複数スケールおよび複数ウィンドウからの候補検出を、投票およびしきい値処理によるプール処理により統合し、ページ単位の数式検出を生成する。
• 検出プロセスでは視覚的特徴のみを用い、OCR、フォント情報、レイアウトメタデータは一切使用しない。
• 元のデータセットに存在するスケールおよび翻訳の不一致を是正するため、GTDB データセットの修正版を新たに作成し、ボクシングボックスのアノテーションを追加した。
• IOU のしきい値を 0.5 および 0.75 として、TFD-ICDAR2019v2 データセット上でモデルを学習および評価する。

実験結果

リサーチクエスチョン

• RQ1 視覚的特徴のみに依存し、レイアウト、フォント、OCR データにアクセスできない状況下でも、深層学習検出器が高精度な数式検出を達成できるか？
• RQ2 カスタムデフォルトボックスを用いたスライディングウィンドウ SSD アプローチは、サイズや縦横比が異なる数学的式の検出にどの程度効果的か？
• RQ3 投票およびしきい値処理に基づくプール戦略は、数式検出における誤検出および見逃しをどの程度低減できるか？
• RQ4 空白のギャップや近接性といった視覚的特徴と、数式の分割や統合といった検出エラーの相関関係は何か？
• RQ5 視覚的特徴のみに依存する検出器は、数学的数式検出のための新しいベンチマークデータセットで競争力のある性能を示せるか？

主な発見

• ScanSSD は、検出領域内の数学的コンテンツを高精度で特定するため、文字レベルの検出で 0.925 の F スコアを達成しており、高精度かつ高再現率を示している。
• 公式検出では IOU ≥ 0.5 時に 0.796、IOU ≥ 0.75 時に 0.733 の F スコアを達成し、TFD-ICDAR2019v2 ベンチマークで優れた性能を示している。
• 検出エラーの主な原因は、大きな空白ギャップ（例：制約のため）での数式の分割、または隣接する数式の統合であり、誤検出や見逃しによるものではない。
• 1×5 のデフォルトボックスの使用により、正方形の受容野に比べ、広い数学的式の検出が著しく向上し、ノイズが低減され、式の幾何学的形状に適合するようになった。
• 行列の検出に成功し、式番号やページ番号などの非数学的数値を正しく除外することができ、一般的なドキュメントアーチファクトに対してもロバストであることが示された。
• 著者らは TFD-ICDAR2019v2 データセット、評価ツール、コードを公開しており、今後の再現性および数学的数式検出分野におけるベンチマークの向上を可能にしている。