[논문 리뷰] HiNER: A Large Hindi Named Entity Recognition Dataset

Rudra Murthy, Pallab Bhattacharjee외 4명|arXiv (Cornell University)|2022. 04. 28.

Topic Modeling인용 수 10

한 줄 요약

이 논문은 11개의 엔터티 유형으로 레이블링된 109,146개 문장과 220만 개 토큰을 포함하는 대규모이고 인간이 애너테이션한 히ند리어 명명된 실체 인식(NER) 데이터셋인 HiNER를 소개한다. XLM-RoBERTa-large를 HiNER에 피나이팅한 결과, 가중 평균 F1 스코어가 88.78에 도달하여 히нд리어 NLP 분야에서 최신 기술 수준의 성능을 보이며 저자원 인도어 NLP 자원의 핵심 격차를 메운다.

ABSTRACT

Named Entity Recognition (NER) is a foundational NLP task that aims to provide class labels like Person, Location, Organisation, Time, and Number to words in free text. Named Entities can also be multi-word expressions where the additional I-O-B annotation information helps label them during the NER annotation process. While English and European languages have considerable annotated data for the NER task, Indian languages lack on that front -- both in terms of quantity and following annotation standards. This paper releases a significantly sized standard-abiding Hindi NER dataset containing 109,146 sentences and 2,220,856 tokens, annotated with 11 tags. We discuss the dataset statistics in all their essential detail and provide an in-depth analysis of the NER tag-set used with our data. The statistics of tag-set in our dataset show a healthy per-tag distribution, especially for prominent classes like Person, Location and Organisation. Since the proof of resource-effectiveness is in building models with the resource and testing the model on benchmark data and against the leader-board entries in shared tasks, we do the same with the aforesaid data. We use different language models to perform the sequence labelling task for NER and show the efficacy of our data by performing a comparative evaluation with models trained on another dataset available for the Hindi NER task. Our dataset helps achieve a weighted F1 score of 88.78 with all the tags and 92.22 when we collapse the tag-set, as discussed in the paper. To the best of our knowledge, no available dataset meets the standards of volume (amount) and variability (diversity), as far as Hindi NER is concerned. We fill this gap through this work, which we hope will significantly help NLP for Hindi. We release this dataset with our code and models at https://github.com/cfiltnlp/HiNER

연구 동기 및 목표

• 히ند리어, 저자원 인도어 언어인 데에 대규모, 고품질, 인간 애너테이션된 NER 데이터셋이 부족한 문제를 해결하기 위해.
• 대소문자 없음, 어휘적 모호성, 철자 변형, 자유로운 어순 등 히нд리어 NER의 과제를 극복하기 위해.
• 강력한 딥러닝 모델을 위한 히нд리어 NER 훈련을 지원하는 표준화되고 다양한, 확장 가능한 데이터셋을 만들기 위해.
• 연구를 가속화하기 위해 데이터셋, 애너테이션 툴, 미세조정된 모델을 공개하기 위해.
• 고품질, 표준 준수 데이터셋을 제공하여 향후 히нд리어 NLP 모델의 벤치마크를 설정하기 위해.

제안 방법

• 데이터셋은 전문 애너테이터 한 명이 참여한 다단계 애너테이션 프로세스를 통해 제작되었으며, 초기 태깅은 자체 개발된 백엔드 NER 엔진에 의해 지원되었다.
• 애너테이션 툴은 I/O-B 태깅을 지원하며, 모델 예측 레이블의 후처리 기능을 제공하여 레이블링 효율성과 정확도를 향상시켰다.
• NER 태그셋은 11개 클래스로 구성되어 있다: Person, Location, Organization, Number, Time, Date, Money, Percent, Title, Misc, Language.
• 저자들은 시퀀스 레이블링을 위해 HiNER 데이터셋에 여러 사전 훈련된 다국어 언어 모델을 미세조정했다.
• 평가에는 엄격하고 정확한 F1 메트릭이 사용되었으며, 모델 행동을 평가하기 위해 엔터티 유형별 오차 분석이 수행되었다.
• 데이터셋은 재현 가능성과 후속 연구를 지원하기 위해 CC-BY-SA 4.0 라이선스 하에 공개되었으며, 코드와 훈련된 모델도 포함되어 있다.

실험 결과

연구 질문

• RQ1 대규모 인간 애너테이션 히нд리어 NER 데이터셋은 소규모 또는 자동 애너테이션된 데이터셋에 비해 모델 성능을 크게 향상시킬 수 있는가?
• RQ2 HiNER의 엔터티 유형 분포는 기존 히нд리어 NER 데이터셋과 비교해 균형과 커버리지 측면에서 어떻게 다른가?
• RQ3 XLM-RoBERTa-large와 같은 최신 기술 다국어 모델이 HiNER에 미세조정될 경우, 히нд리어 NER에 얼마나 잘 일반화되는가?
• RQ4 모델은 HiNER에서 어떤 종류의 오류를 범하고 있으며, 어떤 엔터티 유형이 가장 인식하기 어려운가?
• RQ5 태그셋을 축소하면 전체 F1 성능이 향상되는가? 만약 그렇다면, 얼마나 향상되는가?

주요 결과

• HiNER는 109,146개 문장과 2,220,856개 토큰을 포함하며, 11개 엔터티 유형 간 균형 잡힌 분포를 보이며, 특히 Person, Location, Organization에서 뛰어난 성능을 기록한다.
• XLM-RoBERTa-large를 HiNER에 미세조정한 결과, 모든 11개 태그에서 가중 평균 F1 스코어가 88.78에 도달하여, 소규모 또는 실버 표준 데이터셋에 훈련된 모델보다 뚜렷이 뛰어난 성능을 보였다.
• 태그셋을 더 넓은 클래스로 축소한 결과 F1 스코어가 92.22로 향상되었으며, 이는 더 낮은 세분성 수준이 성능 향상에 기여함을 시사한다.
• 가장 도전적인 엔터티 유형은 Literature, Festival, MISC, Language, Religion, Game였으며, 엄격한 평가에서 F1 스코어가 0.70 이하였다.
• 오염 오류는 Person, MISC, Language, Game, TIMEX에서 가장 높았고, 누락 오류는 Location, NUMEX, Organization에서 지배적이었다.
• 오차 분석 결과 경계 불일치와 타입 오분류가 성능 저하의 주요 원인으로 밝혀졌으며, 특히 희귀하거나 모호한 엔터티에서 두드러졌다.