[논문 리뷰] ESGReveal: An LLM-based approach for extracting structured data from ESG reports

Yi Zou, Mengying Shi외 8명|arXiv (Cornell University)|2023. 12. 25.

Corporate Social Responsibility Reporting인용 수 5

한 줄 요약

ESGReveal는 검색 증강 기반 LLM 프레임워크로, 삼중 아키텍처(ESG 메타데이터, 보고서 전처리, LLM 에이전트 모듈)를 사용하여 기업 보고서에서 구조화된 ESG 데이터를 추출한다. GPT-4를 사용하여 데이터 추출 정확도가 76.9%에 달했으며, 공개 분석 정확도는 83.7%로 기준 모델들을 크게 앞서며, 홍콩 상장 166개 기업을 대상으로 환경 분야 평균 공개율 69.5%, 사회 분야 57.2%로 낮은 공개 수준을 드러냈다.

ABSTRACT

ESGReveal is an innovative method proposed for efficiently extracting and analyzing Environmental, Social, and Governance (ESG) data from corporate reports, catering to the critical need for reliable ESG information retrieval. This approach utilizes Large Language Models (LLM) enhanced with Retrieval Augmented Generation (RAG) techniques. The ESGReveal system includes an ESG metadata module for targeted queries, a preprocessing module for assembling databases, and an LLM agent for data extraction. Its efficacy was appraised using ESG reports from 166 companies across various sectors listed on the Hong Kong Stock Exchange in 2022, ensuring comprehensive industry and market capitalization representation. Utilizing ESGReveal unearthed significant insights into ESG reporting with GPT-4, demonstrating an accuracy of 76.9% in data extraction and 83.7% in disclosure analysis, which is an improvement over baseline models. This highlights the framework's capacity to refine ESG data analysis precision. Moreover, it revealed a demand for reinforced ESG disclosures, with environmental and social data disclosures standing at 69.5% and 57.2%, respectively, suggesting a pursuit for more corporate transparency. While current iterations of ESGReveal do not process pictorial information, a functionality intended for future enhancement, the study calls for continued research to further develop and compare the analytical capabilities of various LLMs. In summary, ESGReveal is a stride forward in ESG data processing, offering stakeholders a sophisticated tool to better evaluate and advance corporate sustainability efforts. Its evolution is promising in promoting transparency in corporate reporting and aligning with broader sustainable development aims.

연구 동기 및 목표

• 기업과 산업 전반의 지표를 통합한 공개 가능하고 세부적인 ESG 공개 데이터베이스의 부족을 해결하기 위해.
• 고급 LLM과 검색 증강 생성(RAG)을 활용해 비정형 보고서에서 ESG 데이터 추출의 정확도와 일관성을 향상시키기 위해.
• 다양한 LLM의 ESG 전용 데이터 추출 및 분석 작업에서의 성능을 평가하고 기준을 설정하기 위해.
• 홍콩 증권거래소의 12개 산업에서 공개된 자료를 분석하여 ESG 보고 투명성의 격차를 규명하기 위해.
• 스태이크홀더의 의사결정 및 규제 감시를 지원하는 체계적인 ESG 데이터 추출을 위한 확장 가능하고 유연한 프레임워크를 구축하기 위해.

제안 방법

• ESGReveal 프레임워크는 대규모 언어 모델(LLM)과 검색 증강 생성(RAG)을 통합하여 ESG 보고서에서 맥락 인식 기반 데이터 추출을 향상시킨다.
• LLM 기반 의미적 이해를 활용해 다양한 ESG 보고 기준(GRI, SASB 등)을 구조화된 추출 명령어로 매핑하는 ESG 메타데이터 모듈을 적용한다.
• 원본 ESG 보고서를 기계로 읽을 수 있는 형식으로 분석하고 정리하는 보고서 전처리 모듈을 통해 효율적인 검색 및 색인화를 가능하게 한다.
• 도메인 특화 지식에 기반한 RAG 강화된 프롬프트를 사용해 맥락 인식 기반의 수치 및 텍스트 ESG 지표를 추출하는 LLM 에이전트 모듈을 운영한다.
• 성능을 인간 레이블 기반 기준과 비교하기 위해 GPT-4 및 기타 LLM을 활용해 데이터 추출 및 공개 분석을 수행한다.
• 확장 가능한 메타데이터 스키마와 기준 데이터베이스에서 관련 ESG 기준을 동적 검색함으로써 다중 표준 적응성을 지원한다.

Figure 1: Overall structure of ESGReveal.

실험 결과

연구 질문

• RQ1 비정형 기업 보고서에서 구조화된 ESG 데이터를 추출하는 데 LLM 기반 RAG 프레임워크의 효과는 어떠한가?
• RQ2 GPT-3.5, GPT-4 등 다양한 LLM의 ESG 데이터 추출 및 공개 분석 작업에서의 비교 성능는 어떠한가?
• RQ3 다양한 산업에서 기업들이 환경, 사회, 지배구조 지표를 얼마나 공개하고 있으며, 어떤 패턴이 드러나는가?
• RQ4 ESG 메타데이터 모듈은 다중 표준 ESG 보고 환경에서 LLM 성능을 어떻게 향상시키는가?
• RQ5 현재 LLM 기반 ESG 추출 시스템의 주요 한계는 무엇이며, 특히 차트나 이미지와 같은 비텍스트 데이터 처리에 있어 어떤 과제가 있는가?

주요 결과

• GPT-4는 구조화된 데이터 추출에서 76.9%의 정확도, 공개 분석에서 83.7%의 정확도를 기록하며 기준 모델들보다 20% 이상 뛰어난 성능을 보였다.
• ESG 메타데이터 모듈은 GPT-4의 성능을 2.5%p 향상시키고, GPT-3.5의 성능을 9.9%p 향상시켰다.
• 환경 데이터 공개 평균은 69.5%였고, 사회 데이터 공개 평균은 57.2%였으며, 기업 투명성 향상 여건이 뚜렷하게 부족한 것으로 나타났다.
• 산업 전반의 총 ESG 공개율은 80%를 초과하지 않았으며, 보고서 완전성에 대한 체계적 격차가 드러났다.
• 다양한 부문에서 공통된 ESG 조치로는 '배출 감소'와 '디지털 헬스 증진'이 확인되었으며, 금융 부문에선 '그린 파이낸스', 제조 부문에선 '지속 가능한 공급망' 등 부문 특화 조치도 발견되었다.
• 이 프레임워크는 홍콩 증권거래소에 상장된 12개 산업과 166개 기업에 대해 강력한 적응성을 보이며 다수 산업 간 기준 비교를 가능하게 했다.

Figure 2: Structure of ESG metadata module: Entities, Extensions, and Expressions.