[论文解读] Advanced Unstructured Data Processing for ESG Reports: A Methodology for Structured Transformation and Enhanced Analysis

Jiahui Peng, Jing Gao+7 more|arXiv (Cornell University)|Jan 4, 2024

Sustainable Industrial Ecology被引用 4

一句话总结

本文提出了一种新颖的方法论，利用“非结构化核心库”将非结构化的ESG报告转化为结构化、可分析的格式，通过高精度文本清洗、基于图像的文本提取以及表格标准化实现。该方法能够准确处理跨行业多样的版式和数据类型，显著推进自然语言处理与大语言模型在企业可持续性评估中的应用。

ABSTRACT

In the evolving field of corporate sustainability, analyzing unstructured Environmental, Social, and Governance (ESG) reports is a complex challenge due to their varied formats and intricate content. This study introduces an innovative methodology utilizing the "Unstructured Core Library", specifically tailored to address these challenges by transforming ESG reports into structured, analyzable formats. Our approach significantly advances the existing research by offering high-precision text cleaning, adept identification and extraction of text from images, and standardization of tables within these reports. Emphasizing its capability to handle diverse data types, including text, images, and tables, the method adeptly manages the nuances of differing page layouts and report styles across industries. This research marks a substantial contribution to the fields of industrial ecology and corporate sustainability assessment, paving the way for the application of advanced NLP technologies and large language models in the analysis of corporate governance and sustainability. Our code is available at https://github.com/linancn/TianGong-AI-Unstructure.git.

研究动机与目标

• 解决分析格式不一致且内容复杂的非结构化ESG报告的挑战。
• 开发一个稳健的框架，能够处理不同报告版式和行业标准下的多种数据类型——文本、图像和表格。
• 实现ESG报告向结构化格式的高精度转换，以提升基于自然语言处理和大语言模型的下游分析效果。
• 通过标准化非结构化ESG数据，支持工业生态学与企业可持续性评估，实现可扩展的分析。

提出的方法

• 该方法以“非结构化核心库”作为ESG报告数据处理的核心框架。
• 应用高精度文本清洗技术，去除噪声并统一ESG报告中的文本内容。
• 采用先进的计算机视觉与光学字符识别（OCR）技术，提取并解析报告中的图像文本。
• 实施表格标准化，统一不同报告结构和版式下的表格数据。
• 该方法支持多模态数据处理，实现文本、图像和表格在统一处理流程中的整合。
• 与自然语言处理（NLP）及大语言模型（LLM）工作流集成，提升对转换后ESG数据的分析能力。

实验结果

研究问题

• RQ1 如何系统性地将格式多样、版式多变的非结构化ESG报告转化为结构化、可分析的数据？
• RQ2 哪些技术能够实现从ESG报告图像和表格中高精度提取文本？
• RQ3 统一方法论在多大程度上能够应对不同行业间报告结构的差异？
• RQ4 所提出的方法在多大程度上提升了ESG数据在下游自然语言处理与大语言模型分析中的准确性和一致性？
• RQ5 结构化ESG数据对工业生态学与企业可持续性评估产生了何种影响？

主要发现

• 该方法成功将非结构化ESG报告转化为标准化、机器可读的格式，且精度极高。
• 通过先进的OCR与布局感知处理，图像中文本提取实现了高精度。
• 表格标准化有效统一了异构报告结构中的表格数据。
• 该方法在不同行业和报告风格间实现了数据表示的一致性。
• 转换处理流程显著提升了ESG数据在自然语言处理与大语言模型分析中的可靠性与可扩展性。
• 该方法为基于结构化ESG数据的大规模、自动化可持续性评估提供了基础。