[논문 리뷰] Using LSTM and GRU With a New Dataset for Named Entity Recognition in the Arabic Language

Алаа Шакер, Alaa Aldarf외 1명|arXiv (Cornell University)|2023. 04. 06.

Topic Modeling인용 수 9

한 줄 요약

본 논문은 BIOES로 태그된 새로 만들어진 아랍어 데이터셋에서 학습된 LSTM 및 GRU 기반 NER 모델을 제안하여 중첩 엔티티를 처리하고 약 80%의 성능을 달성한다.

ABSTRACT

Named entity recognition (NER) is a natural language processing task (NLP), which aims to identify named entities and classify them like person, location, organization, etc. In the Arabic language, we can find a considerable size of unstructured data, and it needs to different preprocessing tool than languages like (English, Russian, German...). From this point, we can note the importance of building a new structured dataset to solve the lack of structured data. In this work, we use the BIOES format to tag the word, which allows us to handle the nested name entity that consists of more than one sentence and define the start and the end of the name. The dataset consists of more than thirty-six thousand records. In addition, this work proposes long short term memory (LSTM) units and Gated Recurrent Units (GRU) for building the named entity recognition model in the Arabic language. The models give an approximately good result (80%) because LSTM and GRU models can find the relationships between the words of the sentence. Also, use a new library from Google, which is Trax and platform Colab

연구 동기 및 목표

• 아랍어 텍스트에 맞춘 구조화된 NER 데이터와 전처리의 필요성을 동기부여한다.
• 문장 간 중첩 엔티티를 처리하기 위해 BIOES 태깅이 적용된 새로운 아랍어 NER 데이터셋을 생성한다.
• 새로운 데이터셋에서 시퀀스 라벨링을 위한 LSTM 및 GRU 아키텍처를 평가한다.
• 모델 개발과 실험에 Google의 Trax 라이브러리와 Colab를 활용하는 유용성을 보여준다.

제안 방법

• 문장에 걸친 시작, 끝, 단일 토큰 및 중첩 엔티티를 포착하기 위해 BIOES 태깅이 적용된 새로운 아랍어 NER 데이터셋을 구성한다.
• 사람, 위치, 조직 등과 같은 범주로 엔티티를 BIOES 형식으로 라벨링하여 중첩된 이름 처리를 가능하게 한다.
• 데이터셋에서 NER를 수행하기 위해 LSTM 및 GRU 기반 시퀀스 라벨링 모델을 구현한다.
• 모델 학습 및 평가를 위해 Trax 라이브러리와 Colab 플랫폼을 활용한다.
• 모델이 문장 내 단어 사이의 관계를 포착할 수 있음을 시사하는 기본 성능 벤치마크를 제공한다.

실험 결과

연구 질문

• RQ1 BIOES 태깅 데이터셋을 사용하여 LSTM 및 GRU 모델이 효과적으로 아랍어 NER을 학습할 수 있는가?
• RQ2 새로운 BIOES 기반 주석 스키마가 아랍어 NER에서 중첩 엔티티 처리 개선에 기여하는가?
• RQ3 제안된 아랍어 NER 데이터셋에서 LSTM 및 GRU 모델의 대략적인 성능(정확도/ F1)은 어떠한가?

주요 결과

• 데이터셋은 thirty-six thousand 건이 넘는 기록을 포함한다.
• BIOES 태깅은 문장 간에 걸친 중첩 이름 엔티티 처리를 가능하게 한다.
• LSTM 및 GRU 모델은 Arabic NER 작업에서 약 80%의 성능을 달성한다.
• Trax 라이브러리와 Colab 플랫폼의 사용은 모델 개발 및 실험을 용이하게 한다.
• 모델은 문장 내 단어 간의 관계를 식별하여 Arabic NER을 지원할 수 있다.