[論文レビュー] Data Extraction from Charts via Single Deep Neural Network

Xiaoyi Liu, Diego Klabjan+1 more|arXiv (Cornell University)|Jun 6, 2019

Handwritten Text Recognition Techniques参考文献 24被引用数 34

ひとこと要約

この論文は、チャートタイプ識別、オブジェクト検出、テキスト認識、オブジェクト照合を実行して棒グラフおよび円グラフからデータを抽出する単一の深層ニューラルネットワークフレームワークを提示し、シミュレートデータでベースラインを上回り、公のデータセットでの性能は様々であることを示している。

ABSTRACT

Automatic data extraction from charts is challenging for two reasons: there exist many relations among objects in a chart, which is not a common consideration in general computer vision problems; and different types of charts may not be processed by the same model. To address these problems, we propose a framework of a single deep neural network, which consists of object detection, text recognition and object matching modules. The framework handles both bar and pie charts, and it may also be extended to other types of charts by slight revisions and by augmenting the training data. Our model performs successfully on 79.4% of test simulated bar charts and 88.0% of test simulated pie charts, while for charts outside of the training domain it degrades for 57.5% and 62.3%, respectively.

研究の動機と目的

• 知識管理と下流の分析のためのチャートからの自動データ抽出を動機づける。
• 棒グラフと円グラフの双方を扱える統一的な深層学習フレームワークを開発する。
• チャートの部品とそれらの関係をエンドツーエンド学習により処理し、手作業のルールを避けることで頑健性を高める。

提案手法

• 1つのモデルがまずチャートタイプ分類を連鎖的に行い、次にFaster-RCNNを検出のバックボーンとしてチャート要素を検出する。
• Faster-RCNNにテキスト認識ブランチ（CRNN）とRelation Networksに触発されたオブジェクト照合ブランチを追加し、チャート要素同士を組み合わせる（例：棒グラフと凡 legends、棒グラフとY軸の値）。
• 円グラフについては、角度/円の境界予測をRNNで追加し、扇形角度を推定し、凡例とスライスを一致させるために特徴マップを回転させる。
• テキスト角度を予測し、CRNN処理前に回転させた特徴マップを適用する、方位認識付きテキスト認識を導入する。
• シミュレートされた棒グラフ/円グラフと公開データセットで訓練し、検出・テキスト・オブジェクト照合・（円グラフの場合は）角度予測の成分を含むマルチタスク損失を用いる。

実験結果

リサーチクエスチョン

• RQ1 単一のニューラルモデルは、チャート要素を同時に検出し、関連テキストを認識し、要素間の関係を推論してチャートデータを再構成できるだろうか？
• RQ2 統一モデルは、シミュレートされた訓練データから公的なチャートデータセットおよび手作業で注釈付けされた画像へどの程度一般化できるか？
• RQ3 統合フレームワーク内で、非長方形の円グラフの扇形や軸テキストの向きに対処するためにどのような適応が必要か？
• RQ4 角度/円の境界予測とRN風照合を含めた場合のデータ抽出精度への影響はどうか？
• RQ5 チャートタイプの識別がエンドツーエンドの抽出性能にどのように影響するか？

主な発見

• 本フレームワークは、シミュレートされた棒グラフで79.4%の精度、シミュレートされた円グラフで88.0%の精度を達成する。
• FigureQAデータとGoogle Imagesでは、棒グラフで57.5%、円グラフで62.3%へ性能が低下した。
• 棒グラフの平均適合率は10個のオブジェクトカテゴリで92.6%、FigureQA (84.5%)およびAnnotated (59.7%)より高い。
• 円グラフのオブジェクトレベル指標の平均適合率は、シミュレートデータで98.6%、Annotatedデータで80.4%。全体のALL精度はSimulで88.0%、Excelセットで68.6%。
• 円グラフモデルは、境界角予測ブランチと、扇形に対する方位認識付き回転特徴マップ照合戦略の恩恵を受ける。