[논문 리뷰] Supply chain emission estimation using large language models

Ayush Jain, Manikandan Padmanaban외 3명|arXiv (Cornell University)|2023. 08. 03.

Sustainable Supply Chain ManagementBusiness, Management and Accounting인용 수 3

한 줄 요약

이 논문은 도메인 적응형 대규모 언어 모델(LLM)을 사용하여 재무 거래 기록을 미국 환경보호국(EPA)의 EEIO 상품 카테고리로 분류함으로써 스코프 3 배출가능성을 추정하는 새로운 프레임워크를 제안한다. 이 방법은 기존의 NLP 기법보다 뛰어나며 전문가 수준의 정확도를 달성하여 기업 전반의 탄소 배출량 추정을 가능하게 하여 지속 가능한 발전 목표(SDG) 13 달성을 지원한다.

ABSTRACT

Large enterprises face a crucial imperative to achieve the Sustainable Development Goals (SDGs), especially goal 13, which focuses on combating climate change and its impacts. To mitigate the effects of climate change, reducing enterprise Scope 3 (supply chain emissions) is vital, as it accounts for more than 90\% of total emission inventories. However, tracking Scope 3 emissions proves challenging, as data must be collected from thousands of upstream and downstream suppliers.To address the above mentioned challenges, we propose a first-of-a-kind framework that uses domain-adapted NLP foundation models to estimate Scope 3 emissions, by utilizing financial transactions as a proxy for purchased goods and services. We compared the performance of the proposed framework with the state-of-art text classification models such as TF-IDF, word2Vec, and Zero shot learning. Our results show that the domain-adapted foundation model outperforms state-of-the-art text mining techniques and performs as well as a subject matter expert (SME). The proposed framework could accelerate the Scope 3 estimation at Enterprise scale and will help to take appropriate climate actions to achieve SDG 13.

연구 동기 및 목표

• 기업의 배출량의 90퍼센트 이상을 차지하는 스코프 3 배출량을 추정하는 데 있어, 수천 명의 공급업체에 산재한 데이터로 인해 추적하기 어려운 중요한 과제를 해결하기 위해.
• 수동 데이터 수집에 의존하지 않고, NLP를 활용하여 재무 거래 기록을 표준화된 상품 카테고리로 자동으로 매핑할 수 있는 확장 가능한 자동화된 방법을 개발하기 위해.
• 최적화된 기초 모델이 탄소 배출량 추정을 위한 거래 기록 분류에서 인간 전문가 성능을 따라하거나 초월할 수 있는지 평가하기 위해.
• 재무 거래 기록이 공급망 배출량에 대한 신뢰할 수 있는 대체 지표가 될 수 있음을 입증하여 대규모 탄소중립화 노력에 기여하기 위해.

제안 방법

• 재무 장부 기록에 대한 레이블이 부여된 데이터셋을 기반으로, 최신의 대규모 언어 모델인 roberta-base, bert-base-uncased 및 distilroberta-base-climate-f를 상품 분류 작업에 대해 미세조정한다.
• 미국 환경확장 입력-출력(US EEIO) 데이터베이스를 사용하여 각 상품군에 대한 배출계수를 할당함으로써 거래 데이터에서 탄소 발자국을 계산할 수 있도록 한다.
• 기존의 NLP 기반 기준선과 성능을 비교하기 위해 TF-IDF 및 Word2Vec 벡터화를 수행한 후 텍스트 분류를 실시한다.
• 특히 학습률과 시퀀스 길이를 포함한 하이퍼파rameter 튜닝을 통해 모델 수렴 및 성능을 최적화한다.
• 훈련 데이터를 50%로 줄인 조건에서 추론 실험을 통해 데이터 민감도와 모델의 강건성을 평가하기 위해 분석 실험을 수행한다.
• 거래 기록을 15개의 EEIO 상품군으로 매핑하고, 미리 발표된 매달린 달러당 배출계수를 사용하여 탄소 배출량을 계산한다.

Figure 1. Framework for estimating Scope3 using large language model

실험 결과

연구 질문

• RQ1 도메인 적응형 대규모 언어 모델이 탄소 배출량 추정을 위한 상품 분류를 위해 재무 거래 기록을 분류하는 데 있어 기존의 NLP 기법인 TF-IDF와 Word2Vec보다 뛰어나게 성능을 발휘할 수 있는가?
• RQ2 기업 거래 데이터에 대해 미세조정한 기초 모델의 성능은 공급망 배출량 분류에서 제로샷 분류와 비교해 어떻게 다를까?
• RQ3 특히 학습률을 포함한 하이퍼파rameter 튜닝이 이 맥락에서 미세조정된 LLM의 수렴 및 성능에 얼마나 큰 영향을 미치는가?
• RQ4 제안된 프레임워크는 탄소 배출량 추정을 위한 상품 분류에서 전문가(SME) 수준의 정확도를 달성할 수 있는가?
• RQ5 훈련 데이터가 감소함에 따라 모델 성능이 크게 떨어지며 데이터 민감도를 보이는가?

주요 결과

• 도메인 적응형 대규모 언어 모델은 기존의 NLP 기법(TF-IDF 및 Word2Vec)보다 뛰어난 성능을 보였으며, 테스트 세트에서 유의미하게 높은 F1 스코어를 기록했다.
• fine-tuned LLM은 bert-base-uncased를 사용할 경우 F1 스코어 82.18%, robberta-base를 사용할 경우 81.29%를 기록하여 상품 분류 작업에서 강력한 성능을 보였다.
• 낮은 학습률로 훈련된 모델는 더 부드러운 수렴과 더 나은 검증 손실을 보였으며, 일반화 능력과 테스트 성능 향상에 기여했다.
• 분석 실험 결과, 훈련 데이터를 50%로 줄였을 때 F1 스코어가 감소함을 확인하여 더 큰 데이터셋이 모델의 강건성과 정확도 향상에 기여함을 시사했다.
• 프레임워크는 상품 분류 작업에서 전문가 수준의 성능을 달성하거나 초월하는 성능을 보였다.
• 탄소 배출량 추정 결과, 지출과 배출량 간에 직관적이지 않은 관계가 드러났다. 예를 들어, 유틸리티 부문은 달러당 높은 배출량을 기록했고, 전문 서비스 부문은 높은 지출에도 불구하고 낮은 배출량을 기록하여 탄소중립화 전략적 기회를 드러냈다.

(a) roberta-base