[论文解读] EXSCLAIM! -- An automated pipeline for the construction of labeled materials imaging datasets from literature

Eric Schwenker, Weixin Jiang+4 more|arXiv (Cornell University)|Mar 19, 2021

Natural Language Processing Techniques参考文献 38被引用 9

一句话总结

EXSCLAIM! 是一个 Python 工具包，可自动化提取、分离并基于标题对科学显微镜图像进行自然语言注释。它通过利用图表解析和自然语言处理技术，实现了高吞吐量、可扩展的材料显微成像数据集标注，显著提升了数据重用性，并支持对材料科学文献的大规模分析。

ABSTRACT

Due to recent improvements in image resolution and acquisition speed, materials microscopy is experiencing an explosion of published imaging data. The standard publication format, while sufficient for traditional data ingestion scenarios where a select number of images can be critically examined and curated manually, is not conducive to large-scale data aggregation or analysis, hindering data sharing and reuse. Most images in publications are presented as components of a larger figure with their explicit context buried in the main body or caption text, so even if aggregated, collections of images with weak or no digitized contextual labels have limited value. To solve the problem of curating labeled microscopy data from literature, this work introduces the EXSCLAIM! Python toolkit for the automatic EXtraction, Separation, and Caption-based natural Language Annotation of IMages from scientific literature. We highlight the methodology behind the construction of EXSCLAIM! and demonstrate its ability to extract and label open-source scientific images at high volume.

研究动机与目标

• 为解决从科学出版物中整理带标签的显微镜图像数据的挑战，这些数据通常深藏于图表中且上下文元数据极少。
• 通过大规模从文献中提取和标注图像，实现材料显微成像数据的大规模聚合与重用。
• 开发一个完全自动化的处理流程，处理科学图表并将它们与文本标题关联，以支持下游分析。
• 通过将非结构化的图像数据转化为结构化、带标签的数据集，提升材料科学领域的数据共享与互操作性。
• 展示在材料科学领域，自动化、基于 NLP 的图像整理在可行性与有效性方面的能力。

提出的方法

• 该流程使用布局感知解析技术，从科学出版物的 PDF 文件中提取图像及其相关标题。
• 利用计算机视觉和布局分析，将复合图表分离为独立的图像组件，以识别不同的视觉元素。
• 对标题应用自然语言处理（NLP）模型，为每个提取的图像生成描述性、结构化的标签。
• 系统利用预训练语言模型解析标题文本，并将其映射到图像的语义属性，如材料类型、成像技术及实验条件。
• 该工具包设计用于大规模处理开放获取的科学文献，支持对大规模文献集合进行批量处理。
• 它可与现有科学文献存储库集成，并支持以标准化、机器可读格式输出，便于在人工智能和数据分析中使用。

实验结果

研究问题

• RQ1 自动化系统能否在大规模范围内有效提取并标注科学文献中的显微镜图像？
• RQ2 NLP 技术在多大程度上能够准确解析和标注图像标题，以生成有意义的结构化元数据？
• RQ3 自动化图像整理流程在多大程度上能减少材料科学领域构建带标签数据集所需的手动工作量？
• RQ4 该流程在从复杂、多面板的科学图表中分离出单个图像方面的表现如何？
• RQ5 所生成的数据集在支持下游应用（如图像检索、分类或模型训练）方面表现如何？

主要发现

• EXSCLAIM! 从开放获取的材料科学文献中成功提取并标注了数千张显微镜图像，处理吞吐量高。
• 该系统在利用布局分析与视觉特征分析将复合图表分离为独立图像组件方面表现出高准确性。
• 基于标题的 NLP 注释实现了为每张图像生成语义丰富、结构化的元数据，显著提升了数据的可重用性。
• 该工具包展现出良好的可扩展性，能够高效且一致地处理大量科学文献。
• 所生成的带标签数据集被证明适用于下游机器学习任务，包括图像分类与检索。
• 该方法显著减少了手动整理的时间，使得从现有文献中创建大规模、可重用的显微成像数据集成为可能。