[논문 리뷰] E-NER -- An Annotated Named Entity Recognition Corpus of Legal Text

Ting Wai Terence Au, Ingemar J. Cox외 1명|arXiv (Cornell University)|2022. 12. 19.

Topic Modeling인용 수 4

한 줄 요약

이 논문은 미국 증권거래위원회(SEC) 기업 공시 자료에서 유래한 400,000개 이상의 토큰을 포함하는 공개된 명명된 엔티티 인식(NER) 코퍼스인 E-NER를 소개한다. 이 코퍼스는 법적 텍스트 전용으로 설계되었다. 실험 결과, 일반 도메인 CoNLL-2003 데이터로 사전 훈련된 NER 모델은 법적 텍스트에 적용되었을 때 성능 저하가 심각하게 발생함을 보여주었으며, F1 점수는 29.4%에서 60.4%까지 감소하였다. 이는 법적 NER 작업을 위한 도메인 특화 훈련 데이터가 필수적임을 시사한다.

ABSTRACT

Identifying named entities such as a person, location or organization, in documents can highlight key information to readers. Training Named Entity Recognition (NER) models requires an annotated data set, which can be a time-consuming labour-intensive task. Nevertheless, there are publicly available NER data sets for general English. Recently there has been interest in developing NER for legal text. However, prior work and experimental results reported here indicate that there is a significant degradation in performance when NER methods trained on a general English data set are applied to legal text. We describe a publicly available legal NER data set, called E-NER, based on legal company filings available from the US Securities and Exchange Commission's EDGAR data set. Training a number of different NER algorithms on the general English CoNLL-2003 corpus but testing on our test collection confirmed significant degradations in accuracy, as measured by the F1-score, of between 29.4\% and 60.4\%, compared to training and testing on the E-NER collection.

연구 동기 및 목표

• 미국 법적 도메인에서 특히 공개 가능하고 고품질의 NER 데이터셋이 부족한 문제를 해결하기 위해.
• 일반 도메인 NER 모델이 법적 문서에 적용되었을 때 성능 저하가 발생하는지를 평가하기 위해.
• 일반 텍스트와 법적 텍스트 분포 간의 성능 비교를 통해 도메인 특화 훈련 데이터의 필요성을 입증하기 위해.
• 법적 NER 시스템을 훈련하고 평가하기 위한 벤치마크 데이터셋(E-NER)을 제공하기 위해.
• 법적 NLP 분야의 향후 연구를 지원하기 위해 전이 학습 및 도메인 적응 기법의 체계적 평가를 가능하게 하기 위해.

제안 방법

• E-NER 코퍼스는 52건의 미국 SEC EDGAR 공시 자료에서 유래하였으며, 개인, 조직, 장소, 금액, 날짜의 다섯 가지 명명된 엔티티 유형으로 수작업으로 주석 처리되었다.
• 코퍼스는 400,000개 이상의 토큰과 약 9,000개의 명명된 엔티티를 포함하고 있으며, 훈련/검증/테스트 분할 비율은 70%/10%/20%이다.
• 네 가지 NER 모델이 평가되었으며, 각각 사전 기반 베이스라인, 은닉 마르코프 모델(HMM), 조건부 확률 장비(CRF), BERT이다.
• 모델들은 세 가지 조합에서 훈련 및 테스트가 이루어졌으며, 각각 CoNLL-2003 전용, CoNLL-2003로 훈련한 후 E-NER에서 테스트, E-NER 전용 훈련이다.
• 각 모델에 대해 마이크로-F1 점수를 계산하여 다양한 데이터 분포 간의 성능을 비교하였다.
• BERT의 파인튜닝은 E-NER 코퍼스를 대상으로 Hugging Face의 transformers 라이브러리를 사용하여 수행되었다.

실험 결과

연구 질문

• RQ1 일반 도메인 NER 모델을 CoNLL-2003에서 훈련하고, SEC 공시 자료의 법적 텍스트에서 테스트했을 때 성능 저하 정도는 어느 정도인가?
• RQ2 HMM, CRF, BERT 모델의 성능은 일반 영어와 법적 영어에서 어떻게 다를까?
• RQ3 일반 도메인 텍스트와 비교했을 때 법적 문서에서의 명명된 엔티티 인식에 도메인 이동이 미치는 영향은 무엇인가?
• RQ4 CoNLL-2003와 같은 표준 NER 벤치마크와 비교했을 때 E-NER 코퍼스의 토큰 수와 명명된 엔티티 다양성 측면에서 크기와 구성은 어떻게 다른가?
• RQ5 도메인 특화 사전 훈련 또는 파인튜닝이 법적 텍스트에서 NER 성능을 크게 향상시킬 수 있는가?

주요 결과

• CoNLL-2003에서 훈련하고 E-NER에서 테스트한 결과, 다양한 모델에서 F1 점수 감소 폭이 29.4%에서 60.4%까지 발생하여 심각한 도메인 이동이 있음을 시사한다.
• 사전 기반 베이스라인과 HMM 모델은 법적 텍스트에서 일반 영어보다 성능이 열 劣하였으며, F1 점수는 최소 13.6%까지 하락하였다.
• CRF와 BERT 모델은 E-NER에서의 F1 점수(최대 96.1%)가 CoNLL-2003에서의 점수(최대 90.5%)보다 높게 나타나, 도메인 특화 데이터로 파인튜닝할 경우 법적 텍스트에 더 잘 일반화됨을 보여준다.
• 법적 텍스트의 평균 문장 길이(34.5단어)는 일반 영어(13.7단어)의 두 배 이상이며, 법적 명명된 엔티티의 길이도 더 길다(2.68토큰 대비 1.45토큰).
• E-NER 코퍼스는 약 9,000개의 명명된 엔티티를 포함하고 있으나, CoNLL-2003 코퍼스의 약 25% 수준에 불과하여 어휘적·구문적 복잡성의 차이를 반영한다.
• 결과적으로 일반 도메인 모델이 법적 텍스트로의 일반화에 효과적으로 실패하므로, 고성능 법적 NER를 위해서는 도메인 특화 훈련 데이터가 필수적임을 확인하였다.