[논문 리뷰] FinBERT: A Pretrained Language Model for Financial Communications

Yi Yang, Mark Christopher Siy Uy외 1명|arXiv (Cornell University)|2020. 06. 15.

Topic Modeling참고 문헌 11인용 수 176

한 줄 요약

FinBERT는 금융 도메인에 특화된 BERT 모델로, 금융 텍스트에서 4.9B 토큰으로 사전 학습되었으며, 일반 BERT보다 세 가지 금융 감성 작업에서 더 우수하다.

ABSTRACT

Contextual pretrained language models, such as BERT (Devlin et al., 2019), have made significant breakthrough in various NLP tasks by training on large scale of unlabeled text re-sources.Financial sector also accumulates large amount of financial communication text.However, there is no pretrained finance specific language models available. In this work,we address the need by pretraining a financial domain specific BERT models, FinBERT, using a large scale of financial communication corpora. Experiments on three financial sentiment classification tasks confirm the advantage of FinBERT over generic domain BERT model. The code and pretrained models are available at https://github.com/yya518/FinBERT. We hope this will be useful for practitioners and researchers working on financial NLP tasks.

연구 동기 및 목표

• 금융 텍스트의 도메인 특유의 감성 신호로 인해 금융 도메인 사전 학습 언어 모델의 필요성을 제시한다.
• 대규모 금융 말뭉치에서 BERT를 사전 학습시켜 FinBERT를 구축한다.
• 금융 감성 분류 작업에서 일반 BERT에 대한 FinBERT의 우수성을 입증한다.

제안 방법

• FinVocab( 금융 중심) 및 FinBERT 변형(BaseVocab/FinVocab; 대소문자 구분 여부) 구성.
• 기업 보고서, 실적 발표 대화록, 애널리스트 보고서에서 온 ~4.9B 토큰으로 FinBERT를 사전 학습한다.
• 간단한 선형 분류기와 교차 엔트로피 손실로 감성 작업에 FinBERT를 미세 조정한다.
• 세 가지 데이터셋에서 FinBERT를 BERT-Base(cased/uncased)와 비교한다.
• 여러 분할에서 정확도로 평가하여 성능 향상을 평가한다.

실험 결과

연구 질문

• RQ1 표준 데이터셋에서 일반 BERT와 비교하여 FinBERT가 금융 감성 분류를 개선하는가?
• RQ2 도메인 내 어휘(FinVocab)와 전체 금융 말뭉치 사전 학습이 성능에 어떤 영향을 미치는가?
• RQ3 금융 NLP 과제에서 uncased 모델이 일관되게 cased 모델보다 우수한가?
• RQ4 다양한 금융 말뭉치를 결합하는 것이 FinBERT 성능에 어떤 영향을 주는가?

주요 결과

• PhraseBank에서 최고의 FinBERT 모델(uncased FinVocab)은 0.872 정확도를 달성하며, 이는 uncased BERT 대비 4.4% 향상, cased BERT 대비 15.4% 향상이다.
• FiQA에서 최고의 FinBERT 모델(uncased FinVocab)은 0.844 정확도이며, 이는 uncased BERT 대비 15.6%, cased BERT 대비 29.2% 향상이다.
• AnalystTone에서 최고의 FinBERT 모델(uncased FinVocab)은 0.887를 달성하고, 이는 uncased BERT 대비 4.3%, cased BERT 대비 5.5% 향상이다.
• 모든 금융 말뭉치에서 사전 학습된 FinBERT 모델이 가장 우수하며, Analyst Reports가 모든 작업에서 강한 성능 기여를 한다.