[논문 리뷰] Automated Identification of Climate Risk Disclosures in Annual Corporate Reports

David Friederich, Lynn H. Kaack외 2명|arXiv (Cornell University)|2021. 08. 03.

Corporate Social Responsibility Reporting인용 수 14

한 줄 요약

이 연구는 20년간 337개 기업의 유럽 연간 보고서 4,498건에서 물리적(급성 및 만성) 및 전환 위험(정책 및 법적, 기술 및 시장, 명성) 위험의 다섯 가지 유형을 자동으로 분류하고 측정하기 위해 최적화된 RoBERTa 모델을 개발한다. 모델은 2015년 이후 전환 위험 언급이 급격히 증가한 것으로 드러나며, 특히 정책 및 법적 및 명성 유형에서 두드러진 증가를 보이며, 국가별 규제 환경이 이 추세를 이끌고 있을 가능성이 있다.

ABSTRACT

It is important for policymakers to understand which financial policies are effective in increasing climate risk disclosure in corporate reporting. We use machine learning to automatically identify disclosures of five different types of climate-related risks. For this purpose, we have created a dataset of over 120 manually-annotated annual reports by European firms. Applying our approach to reporting of 337 firms over the last 20 years, we find that risk disclosure is increasing. Disclosure of transition risks grows more dynamically than physical risks, and there are marked differences across industries. Country-specific dynamics indicate that regulatory environments potentially have an important role to play for increasing disclosure.

연구 동기 및 목표

• 대규모 연간 보고서 집단에서 기후 위험 공개를 모니터링하는 데 있어 수작업 분석의 한계를 해결하기 위해.
• 자유형 텍스트 기업 보고서 내 특정 유형의 기후 관련 위험을 식별하고 분류하기 위한 확장 가능한 자동화된 방법을 개발하기 위해.
• 국가 및 산업 간 기후 위험 공개 패턴의 변화에 영향을 미치는 규제 환경의 영향을 평가하기 위해.
• 정책 입안자와 연구자들이 기후 공개 규제의 효과성을 평가할 수 있도록 재현 가능한 고정확도 NLP 파이프라인을 제공하기 위해.
• 수작업 검토의 범위를 초월하는 대규모 장기적 분석을 가능하게 하여 대규모 기업에 대한 편향을 줄이기 위해.

제안 방법

• 급성 물리적, 만성 물리적, 정책 및 법적 전환, 기술 및 시장 전환, 명성 전환 위험의 다섯 가지 세밀한 기후 위험 유형을 포함한 120건의 독자적 애너테이션을 수행한 새로운 수작업 애너테이션 데이터셋을 구축하였다.
• 다중 클래스 및 이진 설정을 사용한 문단 수준의 텍스트 분류에서 SVM, DistilBERT, RoBERTa 등의 다양한 NLP 모델을 훈련하고 비교하였다.
• 기후 관련 용어를 포함할 수 있는 후보 문단을 식별하기 위해 키워드 기반 검색 전략을 적용한 후, 270만 개의 문단에 대해 모델 추론을 수행하였다.
• 가장 우수한 성능을 보인 RoBERTa 모델을 사용하여, 실제 설정에서 5개 클래스 작업의 F1 스코어는 0.369(macro-avg), 이진 작업의 F1 스코어는 0.526를 기록하였다.
• 신뢰도 및 시계열 추세 평가를 위해 신뢰도 기반 필터링 및 부트스트랩 신뢰구간을 적용하였다.
• 프랑스, 영국, 독일, 스위스 등 국가 간 및 에너지, 소재, 통신 등 산업 간 비교 분석을 통해 규제 및 부문적 영향을 규명하였다.

실험 결과

연구 질문

• RQ1 2000년에서 2020년 사이에 유럽 기업 연간 보고서 내 기후 위험 공개의 량과 유형은 어떻게 변화해 왔는가?
• RQ2 프랑스, 영국 등 특정 국가에서 정책 의무화가 시행된 이후, 이들 국가의 기후 위험 공개 속도는 의무화가 없는 국가보다 얼마나 빨라졌는가?
• RQ3 물리적 위험과 전환 위험 중 어떤 유형이 더 자주 공개되고 있으며, 이는 시간이 지남에 따라 어떻게 변화해 왔는가?
• RQ4 에너지, 소재, 통신 등 고배출 산업의 공개 패턴은 다른 산업과 어떻게 다를까?
• RQ5 RoBERTa와 같은 최적화된 트랜스포머 모델이 비정형 기업 텍스트 내 기후 관련 위험의 미세한 유형을 효과적으로 구분할 수 있는가?

주요 결과

• 2015년 이후 기후 위험 공개 수량, 특히 전환 위험 공개가 급격히 증가하였으며, 2019년 기준 전환 위험 언급 수는 물리적 위험 언급 수의 약 3배에 달하였다.
• '정책 및 법적' 및 '명성' 전환 위험 하위 유형이 가장 빠르게 증가하여 전체 공개 증가에 기여하였다.
• 2015년 이후 의무적 기후 위험 공개 규제를 시행한 프랑스와 영국은 물리적 위험과 전환 위험 모두 보고 수준이 뚜렷이 증가한 반면, 독일과 스위스는 보다 중간 정도의 증가를 보였다.
• 에너지, 소재, 통신 산업은 다른 산업보다 훨씬 더 많은 전환 위험을 공개하였으며, 이는 기후 정책 및 시장 변화에 대한 높은 노출도를 반영한다.
• RoBERTa 모델은 실제 설정에서 5개 클래스 분류 작업의 F1 스코어가 0.369(macro-avg), 이진 작업의 F1 스코어가 0.526로 기록되었으며, 물리적 위험에 비해 전환 위험에 대해 더 높은 정밀도와 낮은 재현율을 보였다.
• 4,498건의 보고서에서 총 5,501건의 기후 위험 공개를 포함하는 3,892개의 문단을 모델이 식별하였으며, 이는 대규모이고 다양한 데이터셋에 대한 확장성의 증거이다.