[論文レビュー] OCR++: A Robust Framework For Information Extraction from Scholarly Articles

Mayank Singh, Barnopriyo Barua+9 more|arXiv (Cornell University)|Sep 21, 2016

Biomedical Text Mining and Ontologies被引用数 16

ひとこと要約

OCR++ は、条件付き確率場（CRF）と手作業で作成されたルールを用いて、学術的PDFからメタデータ、構造的要素（例：セクション見出し、表、図）、および参考文献情報を抽出するオープンソースでハイブリッドなフレームワークである。OCRの誤りやフォーマットの多様性に対しても、構造的情報抽出において特に優れた性能を発揮し、最先端のツールと比較して50%の精度向上と52%の処理速度向上を達成した。

ABSTRACT

This paper proposes OCR++, an open-source framework designed for a variety of information extraction tasks from scholarly articles including metadata (title, author names, affiliation and e-mail), structure (section headings and body text, table and figure headings, URLs and footnotes) and bibliography (citation instances and references). We analyze a diverse set of scientific articles written in English language to understand generic writing patterns and formulate rules to develop this hybrid framework. Extensive evaluations show that the proposed framework outperforms the existing state-of-the-art tools with huge margin in structural information extraction along with improved performance in metadata and bibliography extraction tasks, both in terms of accuracy (around 50% improvement) and processing time (around 52% improvement). A user experience study conducted with the help of 30 researchers reveals that the researchers found this system to be very helpful. As an additional objective, we discuss two novel use cases including automatically extracting links to public datasets from the proceedings, which would further accelerate the advancement in digital libraries. The result of the framework can be exported as a whole into structured TEI-encoded documents. Our framework is accessible online at http://cnergres.iitkgp.ac.in/OCR++/home/.

研究の動機と目的

• OCRの誤りや多様なフォーマットスタイルにかかわらず、構造化された情報を効果的に抽出できる堅牢でオープンソースのフレームワークを開発すること。
• 現在の最先端技術を上回る性能を発揮する、セクション見出し、表、図などの構造的情報抽出を実現すること。
• PDFからメタデータ（タイトル、著者、メールアドレス）および参考文献（引用と参考文献リスト）を正確に抽出すること。
• 自然言語処理会議のプロCEEDINGSから公開データセットのリンクを自動抽出するなど、新たなユースケースを可能にすること。
• デジタル図書館での相互運用性を確保するため、標準化されたTEIエンコード形式の文書として結果をエクスポートすること。

提案手法

• pdf2xml を用いて入力PDFを空間的・タイプグラフィカルなメタデータ（x/y座標、フォントサイズ、太字など）を保持した豊富なXMLに変換する。
• 空間的距離とタイプグラフィカルな差異（例：フォントサイズ、太字）を用いて、テキストを論理的ブロックに分割し、構造的単位を特定する。
• 相対的位置、フォントサイズ、ケース、太字などの特徴を用いて、ラベル付きトレーニング例（タイトル用6,300件、著者名用6,300件）に基づきCRFモデルを学習する。
• 著者名の曖昧さを解消するため、手作業で作成したルールとヒューリスティクス（例：y座標の差、タブ区切り）を適用し、メールアドレスパターン（例：@、.com）を検出する。
• 引用インスタンスの曖昧さをルールベースで解消し、位置的および文法的手がかりを用いて参照エントリにマッピングする。
• 特定のセクション名（例：「Introduction」、「Methodology」）を一般的なカテゴリ（例：「Background」、「Method」）にマッピングし、セクションごとの引用分布分析を可能にする。

実験結果

リサーチクエスチョン

• RQ1 CRFモデルと手作業ルールを組み合わせたハイブリッドフレームワークは、純粋に機械学習に依存するシステムに比べ、学術的論文からの構造的情報抽出において優れた性能を発揮できるか？
• RQ2 多様な出版者にわたる一般的なフォーマットパターンを活用することで、OCRに影響を受ける文書における耐障害性をどの程度向上できるか？
• RQ3 OCR++ の性能は、メタデータ、構造、参考文献抽出の各タスクにおいて、最先端のツールと比較してどの程度優れているか？
• RQ4 OCR++ は、会議プロCEEDINGSから公開データセットのリンクを自動抽出するなど、新たなユースケースを可能にするか？
• RQ5 レイアウトおよびタイプグラフィカルな特徴が、学術的PDFにおける情報抽出の正確性に与える影響は何か？

主な発見

• OCR++ は、最先端のシステムと比較して平均50%の精度向上と52%の処理時間短縮を達成しており、特に構造的情報抽出において顕著な性能向上を示した。
• フレームワークは、セクション見出し、表・図のラベル、フットノート、URLの抽出において、既存のツールを上回る性能を発揮し、OCRの誤りに対しても優れた耐障害性を示した。
• 30名の研究者を対象としたユーザーエクスペリエンススタディの結果、OCR++ は学術的情報抽出タスクにおいて非常に役立つと評価された。
• システムはACLアーカイブのプロCEEDINGSから公開データセットのリンクを正常に抽出し、デジタル図書館の強化に向けた新たなユースケースを実現した。
• フレームワークは特定のセクション名（例：「Methodology」）を一般的なカテゴリ（例：「Method」）にマッピングすることで、セクションごとの引用分布分析を可能にした。
• pdf2xmlにおけるOCRの誤りや非英語文字の制限にもかかわらず、ルールベースのフィルタリングと文脈的ヒューリスティクスにより、OCR++ は高い性能を維持した。