[논문 리뷰] Advanced Unstructured Data Processing for ESG Reports: A Methodology for Structured Transformation and Enhanced Analysis

Jiahui Peng, Jing Gao외 7명|arXiv (Cornell University)|2024. 01. 04.

Sustainable Industrial Ecology인용 수 4

한 줄 요약

이 논문은 '비구조적 코어 라이브러리'를 사용하여 비구조화된 ESG 보고서를 고정밀도 텍스트 정제, 이미지 기반 텍스트 추출, 표 표준화를 통해 구조화되고 분석 가능한 형식으로 변환하는 혁신적인 방법론을 제안한다. 이 방법론은 다양한 산업 분야의 복잡한 레이아웃과 데이터 유형을 정확하게 처리할 수 있으며, 기업 지속 가능성 평가 분야에서 NLP 및 LLM 응용의 발전을 크게 이룬다.

ABSTRACT

In the evolving field of corporate sustainability, analyzing unstructured Environmental, Social, and Governance (ESG) reports is a complex challenge due to their varied formats and intricate content. This study introduces an innovative methodology utilizing the "Unstructured Core Library", specifically tailored to address these challenges by transforming ESG reports into structured, analyzable formats. Our approach significantly advances the existing research by offering high-precision text cleaning, adept identification and extraction of text from images, and standardization of tables within these reports. Emphasizing its capability to handle diverse data types, including text, images, and tables, the method adeptly manages the nuances of differing page layouts and report styles across industries. This research marks a substantial contribution to the fields of industrial ecology and corporate sustainability assessment, paving the way for the application of advanced NLP technologies and large language models in the analysis of corporate governance and sustainability. Our code is available at https://github.com/linancn/TianGong-AI-Unstructure.git.

연구 동기 및 목표

• 일관되지 않은 형식과 복잡한 내용을 가진 비구조화된 ESG 보고서 분석의 과제를 해결하기 위해.
• 다양한 데이터 유형—텍스트, 이미지, 표—을 다양한 보고서 레이아웃과 산업 표준에서 처리할 수 있는 견고한 프레임워크를 개발하기 위해.
• NLP 및 대규모 언어 모델(Large Language Model, LLM)을 활용한 후속 분석을 향상시키기 위해 ESG 보고서를 고정밀도로 구조화된 형식으로 변환할 수 있도록 하기 위해.
• 비구조화된 ESG 데이터를 표준화하여 확장 가능한 분석을 가능하게 함으로써 산업 생태학 및 기업 지속 가능성 평가를 지원하기 위해.

제안 방법

• 이 방법론은 ESG 보고서 데이터의 중심 처리 프레임워크로 '비구조적 코어 라이브러리'를 활용한다.
• 비구조화된 ESG 보고서의 텍스트 콘텐츠에서 노이즈를 제거하고 표준화하기 위해 고정밀도 텍스트 정제 기법을 적용한다.
• 보고서 내 이미지에서 텍스트를 추출하고 해석하기 위해 고급 컴퓨터 비전 및 광학 문자 인식(OCR) 기법을 사용한다.
• 다양한 보고서 구조와 레이아웃 간의 표준화를 위해 표 정규화를 구현한다.
• 텍스트, 이미지, 표를 통합된 파이프라인에서 처리할 수 있는 다중 모odal 데이터 처리를 지원한다.
• 변환된 ESG 데이터에 대한 향상된 분석을 가능하게 하기 위해 NLP 및 대규모 언어 모델(LLM) 워크플로우와 통합한다.

실험 결과

연구 질문

• RQ1 다양한 형식과 레이아웃을 가진 비구조화된 ESG 보고서를 체계적으로 구조화되고 분석 가능한 데이터로 변환하는 방법은 무엇인가?
• RQ2 ESG 보고서의 이미지와 표에서 텍스트를 고정밀도로 추출하는 데 사용할 수 있는 기법은 무엇인가?
• RQ3 통합된 방법론이 다양한 산업 간 보고서 구조의 변형을 얼마나 잘 처리할 수 있는가?
• RQ4 제안된 방법이 후속 NLP 및 LLM 기반 분석을 위한 ESG 데이터의 정확성과 일관성에 어떻게 기여하는가?
• RQ5 구조화된 ESG 데이터가 산업 생태학 및 기업 지속 가능성 평가에 미치는 영향은 무엇인가?

주요 결과

• 이 방법론은 고정밀도로 표준화되고 기계로 읽을 수 있는 형식으로 비구조화된 ESG 보고서를 성공적으로 변환한다.
• 레이아웃 인식 기반 처리와 함께 고급 OCR을 활용해 이미지에서의 텍스트 추출 정확도가 높다.
• 표 정규화 기법은 이질적인 보고서 구조 간의 표 데이터를 효과적으로 표준화한다.
• 다양한 산업 분야와 보고서 스타일 간 일관된 데이터 표현을 가능하게 한다.
• 변환 파이프라인은 NLP 및 LLM 기반 분석을 위한 ESG 데이터의 신뢰성과 확장성을 향상시킨다.
• 이 방법은 구조화된 ESG 데이터를 활용한 대규모 자동 지속 가능성 평가의 기반을 마련한다.