[논문 리뷰] Beheshti-NER: Persian Named Entity Recognition Using BERT

Ehsan Taher, Seyed Abbas Hoseini외 1명|arXiv (Cornell University)|2020. 03. 19.

Topic Modeling참고 문헌 15인용 수 25

한 줄 요약

이 논문은 페르시아어 명명된 실체 인식(NER)을 위한 BERT 기반 모델인 Beheshti-NER를 제안하며, CONLL 2003 평가 체계를 사용하여 단어 수준에서 88.4%의 F1 점수와 어휘 수준에서 83.5%의 F1 점수를 기록하여 Peyma 데이터셋에서 최고 성능을 달성하였다. 이 모델은 NSURL-2019 NER 경연에서 2위를 차지했으며, 이는 기존 최고 성능 모델들을 능가하는 결과였다.

ABSTRACT

Named entity recognition is a natural language processing task to recognize and extract spans of text associated with named entities and classify them in semantic Categories. Google BERT is a deep bidirectional language model, pre-trained on large corpora that can be fine-tuned to solve many NLP tasks such as question answering, named entity recognition, part of speech tagging and etc. In this paper, we use the pre-trained deep bidirectional network, BERT, to make a model for named entity recognition in Persian. We also compare the results of our model with the previous state of the art results achieved on Persian NER. Our evaluation metric is CONLL 2003 score in two levels of word and phrase. This model achieved second place in NSURL-2019 task 7 competition which associated with NER for the Persian language. our results in this competition are 83.5 and 88.4 f1 CONLL score respectively in phrase and word level evaluation.

연구 동기 및 목표

• 이슬람어 등 저자원 자연어 처리 문제를 해결하기 위해 전이 학습 기반의 명명된 실체 인식을 고려함.
• 맥락 기반 임bedding을 활용한 사전 훈련된 BERT 아키텍처를 이용하여 기존 페르시아어 NER 모델을 향상시키기 위함.
• 페르시아어와 같은 저자원 언어에서 BERT 미세조정과 CRF의 융합이 얼마나 효과적인지 입증하기 위함.
• 전이 학습 기반 접근법을 통해 Peyma 및 Arman 데이터셋에서 최고 성능을 달성하기 위함.

제안 방법

• 대규모 페르시아어 코퍼스를 기반으로 다국어 BERT 모델을 미세조정하여 맥락 기반 토큰 임베딩을 생성함.
• 라벨 간 의존성을 모델링하고 시퀀스 레이블링 정확도를 향상시키기 위해 BERT에 조건부 랜덤 필드(CRF) 레이어를 통합함.
• 표준 NER 태그셋을 사용하여 Peyma 및 Arman 데이터셋에서 엔드 투 엔드 모델을 훈련함.
• 단어 수준 및 어휘 수준의 F1 점수 평가에 CONLL 2003 평가 체계를 적용함.
• 사전 훈련된 BERT 가중치로 초기화하고 라벨이 부여된 페르시아어 NER 데이터에서 미세조정함으로써 전이 학습을 적용함.
• 모델의 일반화 능력을 평가하기 위해 도메인 내 및 도메인 외 테스트 세트에서 실험을 수행함.

실험 결과

연구 질문

• RQ1 사전 훈련된 BERT 모델을 CRF와 함께 미세조정하면, 제한된 레이블 데이터로도 페르시아어 NER에서 최고 성능을 달성할 수 있는가?
• RQ2 페르시아어 NER 벤치마크에서 BERT-CRF 모델은 이전의 방법들, 예를 들어 양방향 LSTM와 CRF를 조합한 방법과 비교해 어떻게 성능을 냈는가?
• RQ3 페르시아어 NER 모델에서 도메인 내 및 도메인 외 테스트 세트 간의 성능 격차는 얼마나 되는가?
• RQ4 BERT를 통한 전이 학습이 페르시아어 NER와 같은 저자원 자연어 처리 과제에서 성능 향상에 크게 기여하는가?
• RQ5 다양한 실체 유형(예: 인물, 장소, 시간 등)이 Peyma 데이터셋에서 모델 성능에 어떤 영향을 미치는가?

주요 결과

• Beheshti-NER 모델은 NSURL-2019 NER 경연에서 단어 수준 평가에서 88.4%의 F1 점수와 어휘 수준 평가에서 83.5%의 F1 점수를 기록함.
• 이 모델은 경연에서 전체 2위를 차지하였으며, Peyma 데이터셋에서 이전 최고 성능 모델들을 능가함.
• 가장 높은 성능을 보인 클래스는 '비율'로 어휘 수준에서 F1 점수가 91.6%였고, '시간' 클래스는 가장 도전적인 것으로 나타나 F1 점수가 75.8%였음.
• 모델는 강력한 일반화 능력을 보였으며, 도메인 내 테스트에서는 어휘 수준에서 84.2%의 F1 점수, 도메인 외 테스트에서는 83.0%의 F1 점수를 기록함.
• BERT-CRF 아키텍처는 CRF와 양방향 LSTM를 조합한 기준 모델 및 룰 기반 시스템을 크게 앞서는 성능을 보였음.
• 결과적으로 사전 훈련된 BERT를 미세조정하고 CRF 디코딩을 적용하는 방법이 페르시아어의 저자원 자연어 처리 과제에 매우 효과적인 솔루션임을 확인함.