[논문 리뷰] FinBERT-MRC: financial named entity recognition using BERT under the machine reading comprehension paradigm

Yuzhe Zhang, Hong Zhang|arXiv (Cornell University)|2022. 05. 31.

Topic Modeling인용 수 6

한 줄 요약

이 논문은 도메인 특화 BERT를 사용하여 FinNER를 기계적 독해(MRC) 작업으로 재구성함으로써 재무 명명된 엔터티 인식 모델인 FinBERT-MRC를 제안한다. 잘 설계된 질의를 통해 사전 지식을 통합하고 CRF 디코딩이 필요 없도록 함으로써, FinBERT-MRC는 ChFinAnn에서 92.78%의 최고 성능 F1 점수와 AdminPunish에서 96.80%의 최고 성능 F1 점수를 기록하여, 순차 태깅 기반 모델보다 최대 +3.94%포인트 향상시켰다.

ABSTRACT

Financial named entity recognition (FinNER) from literature is a challenging task in the field of financial text information extraction, which aims to extract a large amount of financial knowledge from unstructured texts. It is widely accepted to use sequence tagging frameworks to implement FinNER tasks. However, such sequence tagging models cannot fully take advantage of the semantic information in the texts. Instead, we formulate the FinNER task as a machine reading comprehension (MRC) problem and propose a new model termed FinBERT-MRC. This formulation introduces significant prior information by utilizing well-designed queries, and extracts start index and end index of target entities without decoding modules such as conditional random fields (CRF). We conduct experiments on a publicly available Chinese financial dataset ChFinAnn and a real-word bussiness dataset AdminPunish. FinBERT-MRC model achieves average F1 scores of 92.78% and 96.80% on the two datasets, respectively, with average F1 gains +3.94% and +0.89% over some sequence tagging models including BiLSTM-CRF, BERT-Tagger, and BERT-CRF. The source code is available at https://github.com/zyz0000/FinBERT-MRC.

연구 동기 및 목표

• 재무 텍스트에서 풍부한 의미적 및 문법적 정보를 포착하는 데에 한계가 있는 순차 태깅 모델의 문제점을 해결하기 위해.
• FinNER를 기계적 독해(MRC) 작업으로 재구성하는 것이 엔터티 인식 성능을 향상시킬 수 있는지 탐색하기 위해.
• 다양한 질의 구성 전략이 모델의 일반화 능력과 경계 검출에 미치는 영향을 평가하기 위해.
• 저자원 및 실제 재무 텍스트 환경에서 도메인 적응형 BERT(FinBERT)와 MRC의 조합이 우수한 성능을 보이는지 입증하기 위해.

제안 방법

• 각 엔터티 유형이 자연어 질의와 연결된 기계적 독해(MRC) 작업으로 재무 명명된 엔터티 인식을 재구성한다.
• 도메인 특화 의미 표현을 포착하기 위해 재무 문장 코퍼스에서 미리 훈련된 FinBERT를 백본으로 사용한다.
• 설계된 질의에 대한 답변을 통해 엔터티의 시작 및 끝 인덱스를 예측하는 스파이크 예측 메커니즘을 활용하여 CRF 레이어가 필요 없도록 한다.
• 사전 지식을 통합하기 위해 키워드 기반, 규칙 기반 템플릿, 위키백과 기반 질의 세 가지 방법을 탐색한다.
• 입력 토큰과 해당 질의를 연결하여 스파이크 예측에 대한 교차 엔트로피 손실을 사용해 모델을 종합적으로 훈련한다.
• 훈련 샘플 수를 다양하게 변화시켜 모델의 강건성을 평가하며, 데이터 부족 상황에서도 일반화 능력 향상을 보였다.

실험 결과

연구 질문

• RQ1 기존의 순차 태깅 프레임워크에 비해 재무 명명된 엔터티 인식(FinNER)을 기계적 독해(MRC) 작업으로 재구성하는 것이 성능 향상에 기여하는가?
• RQ2 키워드, 규칙 기반, 위키백과 기반 질의 구성 전략이 재무 엔터티 인식 성능에 어떤 영향을 미치는가?
• RQ3 도메인 특화 미리 훈련된 모델(FinBERT)과 MRC를 조합할 경우 재무 텍스트에서 모델의 일반화 능력과 경계 검출 능력이 향상되는가?
• RQ4 제한된 훈련 데이터를 가진 저자원 환경에서 모델의 성능은 어떻게 되는가?
• RQ5 질의를 통해 인코딩된 사전 지식이 F1 점수 향상과 잘못된 음성 감소에 기여하는 정도는 어떠한가?

주요 결과

• ChFinAnn 데이터셋에서 FinBERT-MRC는 평균 F1 점수 92.78%를 기록하여 BERT-Tagger 기반 모델 대비 +3.94% 향상되었다.
• 실제 적용 환경인 AdminPunish 데이터셋에서 FinBERT-MRC는 F1 점수 96.80%를 달성하여 BERT-Tagger 기반 모델 대비 +0.89% 향상되었다.
• 위키백과 기반 질의 구성 방법(MRC-Wiki)이 모든 실험에서 최고의 성능을 기록했으며, 키워드 및 규칙 기반 질의 전략을 모두 앞서갔다.
• 훈련 데이터 크기 감소에 대해 더 뛰어난 강건성을 보이며, 저자원 조건에서 순차 태깅 모델보다 높은 성능을 유지했다.
• 사례 연구 결과, FinBERT-MRC가 문법적 구조를 더 잘 포착하고 전체 엔터티 스팬을 정확히 식별하여 경계 오류와 누락된 엔터티를 줄이는 데 성공했다.
• 잘 설계된 질의를 통한 사전 지식 통합이 모델 성능을 크게 향상시켜, MRC 파라다임이 FinNER에 효과적임을 입증했다.