[論文レビュー] Automatic Identification and Data Extraction from 2-Dimensional Plots in Digital Documents

W. Brouwer, Saurabh Kataria+3 more|ArXiv.org|Sep 10, 2008

Advanced Image and Video Retrieval Techniques参考文献 10被引用数 3

ひとこと要約

本稿では、デジタル文書内の2次元プロットを自動的に特定し、重複するデータポイントを含む正確なデータポイント抽出を可能にする、機械学習および画像解析フレームワークを提案する。ウェーブレット特徴量、エッジ検出、ハフ変換、およびシミュレーテッドアニーリングを組み合わせることで、2次元プロット分類の正確性が88.25%に達し、重複するデータポイントの88.9–91.0%を高い精度で回復させることに成功。これにより、意味的検索を可能にする視覚的データのデータベースインデキシングが実現される。

ABSTRACT

Most search engines index the textual content of documents in digital libraries. However, scholarly articles frequently report important findings in figures for visual impact and the contents of these figures are not indexed. These contents are often invaluable to the researcher in various fields, for the purposes of direct comparison with their own work. Therefore, searching for figures and extracting figure data are important problems. To the best of our knowledge, there exists no tool to automatically extract data from figures in digital documents. If we can extract data from these images automatically and store them in a database, an end-user can query and combine data from multiple digital documents simultaneously and efficiently. We propose a framework based on image analysis and machine learning to extract information from 2-D plot images and store them in a database. The proposed algorithm identifies a 2-D plot and extracts the axis labels, legend and the data points from the 2-D plot. We also segregate overlapping shapes that correspond to different data points. We demonstrate performance of individual algorithms, using a combination of generated and real-life images.

研究の動機と目的

• デジタル図書館システムが2次元プロットに埋め込まれたデータをインデキシングできないという深刻なギャップを解消すること。これは科学的比較や分析に不可欠である。
• デジタル文書内の2次元プロットを自動的に特定し、軸ラベル、凡例、データポイントを含む構造化されたデータを抽出するシステムを開発すること。
• 従来の抽出手法でノイズとして扱われたり消失してしまう、2次元プロット内の重複するデータポイントの区別を解消する課題に取り組むこと。
• 学術文書間の意味的検索と分析を可能にするために、2次元プロットからのエンドツーエンドのデータ抽出を可能にすること。

提案手法

• 2次元プロットを他の図形式から区別するため、画像セグメンテーション（IS）、キャプションテキスト（CT）、座標軸（CA）特徴量の組み合わせを用いて線形SVM分類器を学習する。
• 画像特徴量にはウェーブレット係数ヒストグラム、エッジ検出、ハフ変換を用い、線や軸の検出を強化することで、プロット検出の正確性を向上させる。
• 連結成分解析により画像をX軸、Y軸、プロット領域に分割し、ラベル、凡例、データポイントの局所的処理を可能にする。
• テキスト成分は文字間の空間的近接性と一貫した間隔に基づき、ヒューリスティクスを用いて文字を文字列にグループ化して特定する。
• 重複するデータポイントの区別には、シミュレーテッドアニーリングを用い、観測されたピクセルパターンと再構築された形状セットとの誤差を最小化するように候補形状の配置を最適化する。
• シミュレーテッドアニーリングのコスト関数は、観測画像と再構築形状集合の差のグラミアン行列のトレースとして定義され、形状の配置と中心の検出を導く。

実験結果

リサーチクエスチョン

• RQ1 ウェーブレット、エッジ、ハフといった画像特徴量とキャプションテキストといったテキスト特徴量の組み合わせは、デジタル文書内の2次元プロットを信頼性高く分類できるか？
• RQ2 確率的最適化を用いることで、2次元プロット内の重複するデータポイントをどれほど正確に区別し、中心と形状を回復できるか？
• RQ3 本手法の性能は、実際のデータセットおよび合成データセットにおいて、2次元プロット検出の正確性とデータポイント回復の再現率の観点からどの程度か？
• RQ4 2次元プロットから抽出されたデータは、意味的検索や文書間分析を支援するためのデータベースに効果的に格納可能か？

主な発見

• すべての特徴量（IS, CT, CA）を用いた交差検証では、2次元プロット分類の正確性が88.25%に達し、個々の特徴量やペアの特徴量セットを上回る性能を示した。
• テストセットにおける混同行列では、全167件の2次元プロットのうち134件が正しく識別され、誤検出はわずか13件にとどまり、汎化性能が優れていることが示された。
• 重複するデータポイントの回復において、シミュレーテッドアニーリング法はダイヤモンド型のポイントを88.9%、三角形型のポイントを91.0%回復させた（10,000回の反復、温度定数0.4）。
• 反復回数を増やし、アニーリングスケジュールを緩やかにすることで再現率が向上したため、より複雑な設定に対してもスケーラビリティがあると考えられる。
• 従来は消失してしまうとされていた重複するデータポイントを、本手法は正常に分離できた。これにより、従来はアクセス不可能であったデータの回復が可能であることが実証された。
• 本フレームワークは、デジタル図書館における視覚的データの意味的インデキシングを支援する、より大規模な図画像抽出システムに統合されつつある。