[논문 리뷰] WHEN FLUE MEETS FLANG: Benchmarks and Large Pre-trained Language Model for Financial Domain

Raj Sanjay Shah, Kunal Chawla외 8명|arXiv (Cornell University)|2022. 10. 31.

Stock Market Forecasting Methods인용 수 6

한 줄 요약

이 논문은 금융 분야 전용 사전 훈련된 언어 모델인 FLANG을 소개한다. FLANG은 다단어 표현 학습을 향상시키기 위해 금융 키워드 및 어구 마스킹과 스파나이저 경계 목표를 사용한다. 또한 금융 NLP 작업 다섯 가지로 구성된 포괄적인 벤치마크 세트인 FLUE를 제안한다. FLANG-BERT와 FLANG-ELECTRA는 감성 분석, 분류, 질의 응답 등 모든 벤치마크에서 기존 모델인 FinBERT와 BERT를 능가하는 최신 기술 성능을 달성한다.

ABSTRACT

Pre-trained language models have shown impressive performance on a variety of tasks and domains. Previous research on financial language models usually employs a generic training scheme to train standard model architectures, without completely leveraging the richness of the financial data. We propose a novel domain specific Financial LANGuage model (FLANG) which uses financial keywords and phrases for better masking, together with span boundary objective and in-filing objective. Additionally, the evaluation benchmarks in the field have been limited. To this end, we contribute the Financial Language Understanding Evaluation (FLUE), an open-source comprehensive suite of benchmarks for the financial domain. These include new benchmarks across 5 NLP tasks in financial domain as well as common benchmarks used in the previous research. Experiments on these benchmarks suggest that our model outperforms those in prior literature on a variety of NLP tasks. Our models, code and benchmark data are publicly available on Github and Huggingface.

연구 동기 및 목표

• 금융 NLP에서 금융 용어와 다단어 어구를 활용한 도메인 특화 사전 훈련 기법의 부족을 해결하기 위해.
• 일반적인 사전 훈련의 한계를 극복하기 위해 사전 훈련 중에 금융 어휘와 어구 수준의 마스킹을 통합하기 위해.
• 다양한 작업을 통해 금융 NLP 모델을 평가할 수 있는 포괄적이고 오픈소스의 벤치마크 세트(FLUE)를 개발하기 위해.
• 감성 분석, 명명된 실체 인식, 질의 응답과 같은 금융 특화 NLP 작업의 성능을 향상시키기 위해.
• 연구를 가속화하기 위해 공개된 모델과 코드를 제공하기 위해.

제안 방법

• 표준 마스킹 언어 모델링과 스파나이저 경계 목표를 조합하여 모델을 사전 훈련한다. 여기서 생성자는 마스킹된 스파나이저를 예측하고, 구분자는 토큰이 진짜인지 대체되었는지를 판단한다.
• 사전 훈련 중에 개별 단어와 다단어 어구(예: '마진 콜', '보수 분석')를 우선적으로 마스킹하기 위해 금융 어휘를 사용한다.
• 일반 영어 데이터(Wikipedia, BooksCorpus)와 도메인 특화 금융 코퍼스를 혼합하여 훈련하여 도메인 적응 능력을 향상시킨다.
• 다단계 마스킹 전략을 도입한다: 먼저 금융 어휘(FV)를 사용하고, 그 다음 어구 수준의 마스킹(PFV)을 적용한 후, 마지막으로 스파나이저 경계 목표(SBO)를 추가한다.
• 최종 구분자 헤드를 FLUE 벤치마크 세트를 사용하여 다운스트림 작업에 맞게 미세 조정한다.
• BERT와 ELECTRA 아키텍처에 모두 이 방법을 적용하여 FLANG-BERT와 FLANG-ELECTRA 모델을 도출한다.

실험 결과

연구 질문

• RQ1 금융 용어와 어구에 대한 우선적 마스킹이 금융 NLP 작업에서 사전 훈련된 언어 모델의 성능을 향상시킬 수 있는가?
• RQ2 사전 훈련 중에 스파나이저 경계 목표를 통합함으로써 모델이 강력한 금융 다단어 표현을 학습하는 능력이 향상되는가?
• RQ3 도메인 특화 사전 훈련 전략이 일반적인 사전 훈련보다 금융 벤치마크 작업에서 유의미하게 뛰어난 성능을 내는가?
• RQ4 FLUE 벤치마크 세트가 금융 언어 모델의 신뢰성 있고 표준화된 평가를 얼마나 잘 가능하게 하는가?
• RQ5 다양한 금융 NLP 작업에서 FLANG의 성능은 기존 모델인 FinBERT와 BERT에 비해 어느 정도 뛰어나게 되는가?

주요 결과

• FLANG-BERT는 검증 세트에서 퍼즐리티 19.53을 기록하여 BERT-base(23.66)와 FinBERT(21.11)보다 유의미하게 낮아, 금융 텍스트에서 더 나은 언어 모델링 능력을 보여준다.
• 모든 구성 요소(AD + PFV + SBO)를 갖춘 FLANG-ELECTRA는 퍼즐리티 17.34를 기록하여 베이스라인 ELECTRA 모델(20.10)과 모든 다른 베이스라인을 능가한다.
• FLANG-BERT는 동일한 파라미터 수를 가짐에도 불구하고, 금융 감성 분석, 뉴스 분류, 질의 응답 등 FLUE 벤치마크의 모든 작업에서 FinBERT를 능가한다.
• 성능 향상은 감성 분석과 질의 응답과 같은 금융 특화 작업에서 가장 두드러지며, 명명된 실체 인식과 같은 일반 작업에서는 성능 향상 폭이 다소 작다.
• 스파나이저 경계 목표와 어구 수준의 마스킹이 성능 향상에 기여하며, 이는 훈련 단계별로 점진적인 퍼즐리티 향상(예: SBO 도입으로 19.20에서 17.34로)을 통해 확인된다.
• FLANG 모델는 FLUE 벤치마크의 다섯 가지 작업 전부에서 최신 기술 성능을 달성하여 제안된 사전 훈련 방법론의 효과성을 입증한다.