[논문 리뷰] Detecting ESG topics using domain-specific language models and data augmentation approaches

Tim Nugent, Nicole Stelea외 1명|arXiv (Cornell University)|2020. 10. 16.

Computational and Text Analysis Methods인용 수 8

한 줄 요약

이 논문은 재무 및 비즈니스 뉴스 715만 단어의 데이터로 사전 훈련된 도메인 특화 언어 모델인 BERT RNA을 제안하며, ESG 논란 및 유엔 지속가능발전목표(SDG) 분류 정확도를 향상시킨다. 일반 도메인 BERT에 비해 소규모 레이블이 부여된 ESG 데이터셋에서 성능 향상을 위해 도메인 내 사전 훈련과 백번역 데이터 증강을 결합한 방법론을 통해 뚜렷한 성능 향상을 달성한다.

ABSTRACT

Despite recent advances in deep learning-based language modelling, many natural language processing (NLP) tasks in the financial domain remain challenging due to the paucity of appropriately labelled data. Other issues that can limit task performance are differences in word distribution between the general corpora - typically used to pre-train language models - and financial corpora, which often exhibit specialized language and symbology. Here, we investigate two approaches that may help to mitigate these issues. Firstly, we experiment with further language model pre-training using large amounts of in-domain data from business and financial news. We then apply augmentation approaches to increase the size of our dataset for model fine-tuning. We report our findings on an Environmental, Social and Governance (ESG) controversies dataset and demonstrate that both approaches are beneficial to accuracy in classification tasks.

연구 동기 및 목표

• 재무 NLP에서 저품질 및 제한된 레이블이 부여된 데이터 문제를 해결하기 위해, 특히 ESG 관련 분류 작업에 초점을 맞춘다.
• 재무 텍스트에 맞게 사전 훈련된 언어 모델을 적응시켜 ESG 논란 및 유엔 지속가능발전목표(SDG) 분류 성능을 향상시키기 위해 노력한다.
• 일반 도메인 언어 모델과 재무 문헌 간의 분포 차이를 완화하기 위해 도메인 내 사전 훈련과 데이터 증강이 효과적인지 탐구한다.
• ESG 및 지속 가능성 관련 텍스트 분석에 특화된 재무 도메인 언어 모델(BERT RNA)을 개발한다.
• 微fine-tuned 모델에서 어텐션 헤드의 언어학적 행동을 평가하여 분류 성능을 이끄는 텍스트적 특징을 이해한다.

제안 방법

• 재무 및 비즈니스 뉴스 715만 단어의 코퍼스를 사용해 Reuters 뉴스 아카이브에서 BERT BASE 모델을 사전 훈련하여 BERT RNA를 구축한다.
• 다중 클래스 분류 및 다중 레이블 UN SDG 탐지 작업을 위해 소규모 레이블이 부여된 ESG 논란 데이터셋에서 BERT RNA를 테스트한다.
• 백번역을 통한 데이터 증강을 적용하여 훈련 데이터의 다양성과 크기를 늘려 일반화 능력을 향상시키고 과적합을 줄인다.
• 자기 어텐션 시각화를 통해 다양한 레이어에서 어휘적 특징(예: 명사, 동사, 수사, 대명사 등)에 대해 어텐션 헤드가 어떻게 반응하는지 분석한다.
• 표준 평가 지표를 사용해 일반 도메인 BERT BASE와 비교하여 ESG 및 SDG 분류 작업에서 BERT RNA의 성능을 평가한다.
• 향후 확장 사례로 도메인 특화 어휘 및 확장된 사전 훈련 코퍼스(예: SEC 서류, 수익 발표 통화록 등)의 영향을 평가한다.

실험 결과

연구 질문

• RQ1 일반 도메인 BERT에 비해 재무 및 비즈니스 뉴스에 대해 도메인 내 사전 훈련을 수행한 BERT가 ESG 주제 분류 작업에서 성능 향상을 이끌 수 있는가?
• RQ2 백번역을 통한 데이터 증강이 소규모 ESG 레이블이 부여된 데이터셋에서 모델 정확도와 일반화 능력을 얼마나 향상시키는가?
• RQ3 ESG 분류에 관련된 레이어에서 BERT RNA의 어텐션 패턴은 일반 BERT와 어떻게 다를까? 특히 어떤 언어학적 특징(예: 명사, 동사, 수사 등)이 가장 높은 어텐션을 받는가?
• RQ4 도메인 특화 언어 모델링과 데이터 증강이 일반 텍스트와 재무 텍스트 간의 분포 차이로 인한 성능 저하를 공동으로 완화할 수 있는가?
• RQ5 10-K/10-Q 서류나 수익 발표 통화록과 같은 추가 재무 텍스트 소스를 사전 훈련에 포함시키는 데서 기대할 수 있는 잠재적 이점은 무엇인가?

주요 결과

• ESG 논란 분류 작업에 대해 BERT RNA를 테스트한 결과, 일반 도메인 BERT BASE를 테스트한 것보다 더 높은 정확도를 기록하여 도메인 내 사전 훈련의 유용성을 입증한다.
• 백번역을 통한 데이터 증강이 과적합을 줄이고 훈련 다양성을 높여 소규모 데이터셋에서 모델 성능을 뚜렷이 향상시켰다.
• 테스트된 BERT RNA는 레이어 6–10에서 수사, 레이어 11–12에서 동사, 레이어 11에서 명사, 레이어 11–12에서 대명사에 대해 증가된 어텐션을 보였으며, 이는 ESG 분류에서 이러한 텍스트 특징의 중요성을 시사한다.
• 이 연구는 도메인 특화 언어 모델과 데이터 증강이 자원이 제한된 재무 NLP 환경에서 NLP 성능 향상에 효과적인 전략임을 입증한다.
• 결과는 도메인 특화 어휘와 다양한 재무 텍스트 소스(예: SEC 서류 등)를 활용한 확장된 사전 훈련이 추가적인 성능 향상 가능성을 제공할 수 있음을 시사한다.
• 이 연구는 재무 도메인 BERT 모델을 ESG 논란 예측에 적용한 최초의 사례로, 향후 금융 분야의 알파 생성 NLP 시스템을 위한 기반을 마련한다.