[논문 리뷰] FLERT: Document-Level Features for Named Entity Recognition

Stefan Schweter, Alan Akbik|arXiv (Cornell University)|2020. 11. 13.

Topic Modeling참고 문헌 22인용 수 15

한 줄 요약

이 논문은 트랜스포머 기반 모델을 통해 문서 수준의 맥락을 통합함으로써 명명된 실체 인식(NER)을 향상시키는 FLERT라는 방법을 제안한다. 문장당 왼쪽과 오른쪽으로 고정된 64토큰 윈도우를 사용하여 맥락을 제공한다. 강제로 문서 경계를 설정한 미세조정을 통해 여러 CoNLL-03 데이터셋에서 최신 기준 성능을 달성하였으며, 독일어에서는 최대 1.81점, 네덜란드어에서는 1.5점의 F1 점수 향상을 기록하였다.

ABSTRACT

Current state-of-the-art approaches for named entity recognition (NER) typically consider text at the sentence-level and thus do not model information that crosses sentence boundaries. However, the use of transformer-based models for NER offers natural options for capturing document-level features. In this paper, we perform a comparative evaluation of document-level features in the two standard NER architectures commonly considered in the literature, namely "fine-tuning" and "feature-based LSTM-CRF". We evaluate different hyperparameters for document-level features such as context window size and enforcing document-locality. We present experiments from which we derive recommendations for how to model document context and present new state-of-the-art scores on several CoNLL-03 benchmark datasets. Our approach is integrated into the Flair framework to facilitate reproduction of our experiments.

연구 동기 및 목표

• 문서 수준의 특징이 NER 성능에 미치는 영향을 다른 모델 구성 요소와 분리하여 평가하기 위해.
• 두 가지 주요 트랜스포머 기반 NER 아키텍처인 미세조정과 특징 기반 LSTM-CRF 간의 성능을 비교하기 위해.
• 문서 수준 맥락의 최적 하이퍼파라미터, 즉 윈도우 크기와 문서 경계 강제 적용 여부를 규명하기 위해.
• 문서 수준 맥락을 활용하여 표준 CoNLL-03 NER 벤치마크에서 새로운 최신 기준 성능을 달성하기 위해.
• 재현성과 커뮤니티 활용을 위해 Flair NLP 프레임워크에 이 방법을 통합하기 위해.

제안 방법

• 태깅 대상이 되는 각 문장에 대해, 왼쪽과 오른쪽으로 각각 64개의 서토큰을 포함한 맥락을 제공하여 문서 인식 입력 시퀀스를 구성한다.
• 모델은 트랜스포머 인코더의 자기주의 어텐션 기반으로 단어 표현 간 문장 간 영향을 허용하여 문서 수준 맥락 모델링을 가능하게 한다.
• 두 가지 아키텍처를 평가한다: (1) 토큰 수준 예측을 위한 선형 헤드를 갖는 전체 트랜스포머를 미세조정하는 것, (2) 트랜스포머를 외부 LSTM-CRF 모델의 특징 추출기로만 사용하는 것.
• 개발 세트 성능을 기반으로 최고 성능을 보인 설정을 선별하며, 윈도우 크기와 문서 경계 강제 적용 등의 하이퍼파라미터는 분석을 통해 조정한다.
• 학습 중 문서 경계를 강제로 적용하기 위해 문서 수준 마커에서 맥락을 잘라내어 성능 향상을 이룬다.
• 최종 모델은 공개 배포 및 재현 가능성을 위해 Flair NLP 프레임워크에 FLERT 확장 기능으로 통합된다.

실험 결과

연구 질문

• RQ1 문장 수준 모델링과 비교했을 때, 문서 수준 맥락을 통합하면 NER 성능에 어떤 영향을 미치는가?
• RQ2 미세조정과 특징 기반 LSTM-CRF 중 어느 아키텍처가 문서 수준 특징에서 더 큰 이점을 얻는가?
• RQ3 NER에서 문서 수준 특징의 최적 윈도우 크기는 무엇인가?
• RQ4 학습 중 문서 경계를 강제로 적용하면 성능 향상이 이루어지며, 이는 왜 필요한가?
• RQ5 문서 수준 특징은 표준 CoNLL-03 NER 벤치마크에서 새로운 최신 기준 성능을 달성할 수 있는가?

주요 결과

• 문서 수준 특징은 NER 성능을 크게 향상시키며, 문장 수준 모델링 대비 모든 언어에서 평균 F1 점수를 1.15점 향상시킨다.
• 문서 수준 특징을 적용한 전체 트랜스포머 모델의 미세조정은 특징 기반 LSTM-CRF 접근 방식보다 평균 F1 점수 약 2점 높게 기록한다.
• 학습 중 문서 경계를 강제로 적용하면 모든 언어에서 성능 향상이 이루어지며, 이는 트랜스포머가 명시적 지도 없이 문서 경계를 자연스럽게 인식하지 못한다는 것을 시사한다.
• 최적의 윈도우 크기는 양쪽으로 각각 64개 토큰으로, 이는 미세조정 설정에서 모든 언어에서 최고의 성능을 내는 것으로 나타났다.
• FLERT는 독일어 및 네덜란드어 CoNLL-03 데이터셋에서 이전 작업 대비 F1 점수를 각각 1.81점과 1.50점 향상시켜 새로운 최신 기준 성능을 달성하였다.
• 문서 수준 특징에서 가장 큰 성능 향상은 ORG(조직)와 PER(인물) 엔티티 유형에서 관찰되었으며, 이는 이 카테고리에 대해 문장 간 맥락이 가장 유익하다는 것을 시사한다.