[论文解读] Chart-Text: A Fully Automated Chart Image Descriptor

Abhijit Balaji, Thuvaarakkesh Ramanathan+1 more|arXiv (Cornell University)|Dec 27, 2018

Advanced Image and Video Retrieval Techniques参考文献 16被引用 43

一句话总结

Chart-Text 自动描述图表图像，通过对图表类型进行分类、检测并标注文本、提取数据来生成文本描述，达到 99.72% 的图表分类准确率和 78.9% 的数据提取准确率。

ABSTRACT

Images greatly help in understanding, interpreting and visualizing data. Adding textual description to images is the first and foremost principle of web accessibility. Visually impaired users using screen readers will use these textual descriptions to get better understanding of images present in digital contents. In this paper, we propose Chart-Text a novel fully automated system that creates textual description of chart images. Given a PNG image of a chart, our Chart-Text system creates a complete textual description of it. First, the system classifies the type of chart and then it detects and classifies the labels and texts in the charts. Finally, it uses specific image processing algorithms to extract relevant information from the chart images. Our proposed system achieves an accuracy of 99.72% in classifying the charts and an accuracy of 78.9% in extracting the data and creating the corresponding textual description.

研究动机与目标

• 通过为屏幕阅读器提供图表图像的文本描述来促进可访问性。
• 开发一个将图表图像转换为描述性文本的完全自动化流水线。
• 自动化图表类型分类、文本检测/分类以及从图表中提取数据。

提出的方法

• 将输入的 PNG 分类为特定的图表类型。
• 检测并对图表中嵌入的标签和文本进行分类。
• 应用图像处理算法从图表中提取相关数据。
• 从提取的信息生成完整的文本描述。

实验结果

研究问题

• RQ1 一个完全自动化的系统能否准确地从图像分类图表类型？
• RQ2 图表中的标签和文本被自动检测和分类的准确性有多高？
• RQ3 图表图像的自动数据提取和文本描述生成的准确性如何？

主要发现

• 图表类型分类准确率为 99.72%。
• 数据提取和描述生成准确率为 78.9%。
• 系统无需人工干预即可从图表图像生成完整的文本描述。