[논문 리뷰] Predicting Companies' ESG Ratings from News Articles Using Multivariate Timeseries Analysis

Tanja Aue, Adam Jatowt외 1명|arXiv (Cornell University)|2022. 11. 13.

Environmental Sustainability in Business인용 수 6

한 줄 요약

이 논문은 BERT 기반 분류, 감성 분석, 주제 군집화를 통해 뉴스 기사에서 ESG 평가를 예측하는 다변량 시계열 모델을 제안한다. 이후 CNN 및 트랜스포머 기반 딥러닝 모델을 적용하여 최신 기술 성능을 달성하였으며, Asset4 평가 기준 평균 절대 오차(MAE)가 11.97로 기존 모델들을 능가하였다. 특히 소형주식 기업의 경우 더 높은 정확도를 보였다.

ABSTRACT

Environmental, social and governance (ESG) engagement of companies moved into the focus of public attention over recent years. With the requirements of compulsory reporting being implemented and investors incorporating sustainability in their investment decisions, the demand for transparent and reliable ESG ratings is increasing. However, automatic approaches for forecasting ESG ratings have been quite scarce despite the increasing importance of the topic. In this paper, we build a model to predict ESG ratings from news articles using the combination of multivariate timeseries construction and deep learning techniques. A news dataset for about 3,000 US companies together with their ratings is also created and released for training. Through the experimental evaluation we find out that our approach provides accurate results outperforming the state-of-the-art, and can be used in practice to support a manual determination or analysis of ESG ratings.

연구 동기 및 목표

• 인간의 판단 없이 자동화되고 확장 가능한 ESG 평가 예측 방법을 개발하여 비용 절감과 투명성 향상.
• 예측 모델 훈련에 적합한 대규모이고 다양한 ESG 뉴스 데이터셋의 부족 문제 해결.
• 다양한 NLP 신호—ESG 관련성, 감성, 의미적 주제—를 다변량 시계열 프레임워크에 통합하여 ESG 평가 예측 정확도 향상.
• 특히 CNN 및 트랜스포머 아키텍처를 포함한 딥러닝 모델이 뉴스 데이터로부터 ESG 평가를 예측하는 데 얼마나 효과적인지 평가.
• 3.7만 건의 기사(3,000개 미국 기업, 2018–2020년)를 포함하는 새로운 대규모 ESG 뉴스 데이터셋을 공개하여 ESG 연구에 기여.

제안 방법

• 2018년부터 2020년까지 3,000개 미국 기업을 대상으로 GDELT에서 확보한 370만 건의 뉴스 기사 처리를 통해 다변량 시계열 구축.
• 두 종류의 BERT 모델을 적용하여 기사의 ESG 관련성과 감성을 분류하고, 두 개의 별도 시계열 생성.
• 주제 모델링을 통해 기사를 6개의 의미적 군집으로 군집화하고, 주제 기반 ESG 신호를 나타내는 6개의 추가 시계열 생성.
• 모든 9개의 입력 시계열(관련성, 감성, 6개 의미 군집)을 통합하여 딥러닝 모델의 다변량 입력으로 활용.
• 표준 및 딥 CNN, CNN과 트랜스포머를 조합한 아키텍처를 포함한 다양한 딥러닝 아키텍처를 훈련 및 비교하여 시계열 회귀 수행.
• 실제 ESG 평가 기준으로 Asset4 평가를 사용하여 평균 절대 오차(MAE) 및 평균 제곱 오차(MSE)로 모델 평가.

실험 결과

연구 질문

• RQ1 다변량 시계열과 딥러닝을 활용해 인간의 판단 없이 뉴스 기사에서 ESG 평가를 정확히 예측할 수 있는가?
• RQ2 ESG 관련성, 감성, 의미적 주제와 같은 다양한 NLP 신호가 개별적으로나 종합적으로 ESG 평가 예측에 기여하는 정도는 어떠한가?
• RQ3 CNN 및 트랜스포머 같은 딥러닝 모델이 뉴스 데이터로부터 ESG 평가를 예측하는 데 더 뛰어난 성능을 보이는가?
• RQ4 시장 자본화 규모가 다른 기업들에 대해 모델 성능은 어떻게 달라지는가?
• RQ5 입력 신호의 다양성과 특징 공학의 질이 ESG 평가 예측 정확도에 미치는 영향은 어떠한가?

주요 결과

• 딥 CNN 모델이 Asset4 ESG 평가 기준으로 가장 낮은 평균 절대 오차(MAE)인 11.97을 기록하여 모든 기준 모델을 능가하였다.
• 최고의 기준 모델(Sokolov 등, 2021) 대비 MAE에서 14.39% 향상되어 최신 기술 수준의 성능을 입증하였다.
• 소형주식 기업의 경우 MAE가 10.28로 대형주식 기업(MAE = 15.42)보다 성능이 뚜렷이 뛰어나 소형주식 기업에 대해 더 높은 정확도를 보였다.
• 제거 실험 결과, 관련성, 감성, 의미 주제 세 가지 유형의 모든 신호가 예측 성능 향상에 기여하였으며, 특히 의미 군집화가 개별적으로 가장 큰 영향을 미쳤다.
• 모든 9개의 입력 시계열(X all) 조합이 가장 우수한 성능을 기록하여 다중 모odal 신호 통합의 가치를 확인하였다.
• CNN + 딥 트랜스포머 모델은 소형주식 기업에 대해 MAE 10.86, 중형주식 기업에 대해 MAE 12.51을 기록하여 다양한 시장 자본화 기업에 걸쳐 뛰어난 일반화 성능을 보였다.