[論文レビュー] Chart-Text: A Fully Automated Chart Image Descriptor

Abhijit Balaji, Thuvaarakkesh Ramanathan+1 more|arXiv (Cornell University)|Dec 27, 2018

Advanced Image and Video Retrieval Techniques参考文献 16被引用数 43

ひとこと要約

Chart-Text は、チャートの種類を分類し、テキストを検出・ラベリングし、データを抽出してテキスト記述を生成することにより、チャート画像を自動的に説明します。これにより、チャート分類の精度は 99.72%、データ抽出の精度は 78.9% を達成します。

ABSTRACT

Images greatly help in understanding, interpreting and visualizing data. Adding textual description to images is the first and foremost principle of web accessibility. Visually impaired users using screen readers will use these textual descriptions to get better understanding of images present in digital contents. In this paper, we propose Chart-Text a novel fully automated system that creates textual description of chart images. Given a PNG image of a chart, our Chart-Text system creates a complete textual description of it. First, the system classifies the type of chart and then it detects and classifies the labels and texts in the charts. Finally, it uses specific image processing algorithms to extract relevant information from the chart images. Our proposed system achieves an accuracy of 99.72% in classifying the charts and an accuracy of 78.9% in extracting the data and creating the corresponding textual description.

研究の動機と目的

• スクリーンリーダー向けにチャート画像のテキスト記述を提供することでアクセシビリティを促進する。
• チャート画像を説明文に変換する完全自動パイプラインを開発する。
• チャートタイプの分類、テキスト検出/分類、チャートからのデータ抽出を自動化する。

提案手法

• 入力 PNG を特定のチャートタイプとして分類する。
• チャートに埋め込まれたラベルとテキストを検出・分類する。
• チャートから関連データを抽出するために画像処理アルゴリズムを適用する。
• 抽出した情報から完全なテキスト記述を生成する。

実験結果

リサーチクエスチョン

• RQ1 完全自動システムは画像からチャートタイプを正確に分類できるか。
• RQ2 チャート内のラベルやテキストを自動的にどれだけ正確に検出・分類できるか。
• RQ3 チャート画像の自動データ抽出とテキスト記述生成の精度はどの程度か。

主な発見

• チャートタイプ分類の精度は 99.72%。
• データ抽出と記述生成の精度は 78.9%。
• このシステムは、手動介入なしにチャート画像から完全なテキスト記述を生成します。