[논문 리뷰] KIND: an Italian Multi-Domain Dataset for Named Entity Recognition

Teresa Paccosi, Alessio Palmero Aprosio|arXiv (Cornell University)|2021. 12. 30.

Topic Modeling인용 수 4

한 줄 요약

이 논문은 뉴스, 문학, 정치적 논의에서 수집된 60만 개의 수작업 주석이 포함된 다국어 이탈리아어 명명된 실체 인식(NER) 데이터셋 KIND를 소개한다. 이는 총 100만 개 이상의 토큰을 포함하며, 이 중 60만 개는 수작업 주석이 가공된 것으로, 이는 현재까지 가장 큰 골드 표준 이탈리아어 NER 자원이다. 이 데이터셋은 자원이 제한된 환경에서 NLP 모델의 훈련 및 평가를 지원하며, GitHub 경유로 CC BY-NC 4.0 라이선스 하에 무료로 제공된다.

ABSTRACT

In this paper we present KIND, an Italian dataset for Named-entity recognition. It contains more than one million tokens with annotation covering three classes: person, location, and organization. The dataset (around 600K tokens) mostly contains manual gold annotations in three different domains (news, literature, and political discourses) and a semi-automatically annotated part. The multi-domain feature is the main strength of the present work, offering a resource which covers different styles and language uses, as well as the largest Italian NER dataset with manual gold annotations. It represents an important resource for the training of NER systems in Italian. Texts and annotations are freely downloadable from the Github repository.

연구 동기 및 목표

• NLP 모델의 훈련 및 평가를 위한 고품질 수작업 주석이 부족한 이탈리아어 NER 데이터셋의 부족 문제를 해결하기 위해.
• 다양한 텍스트 스타일과 장르에서의 언어적 다양성을 반영하는 다국어·다도메인 자원을 구축하기 위해.
• 특히 자원이 제한된 환경에서 연구 및 개발을 지원하기 위해 자유롭게 이용 가능한 고품질 데이터셋을 제공하기 위해.
• 뉴스 외의 다양한 도메인(예: 문학 및 정치적 논의)을 포함시켜 기존 NER 자원을 확장하기 위해.
• 균형 잡힌 다도메인 코퍼스를 통해 이탈리아어에 대한 강건하고 도메인 일반화가 가능한 NER 시스템 개발을 지원하기 위해.

제안 방법

• 공개된 허가가 허용하는 텍스트를 바탕으로 데이터셋을 구축하였으며, 이는 Wikinews 기사, 이탈리아 소설, 알도 모로 및 알카이드 에 가스페리의 연설을 포함한다.
• 전문 언어학자들이 뉴스, 문학, 정치적 논의에서 60만 토큰에 대해 수작업 주석을 수행하였으며, 주로 인물(PER), 조직(ORG), 장소(LOC)의 세 가지 유형의 실체를 대상으로 하였다.
• 알도 모로의 글에서 약 40만 토큰에 대해 반자동 파이프라인을 사용하여 주석을 처리하였으며, 기존 주석을 매핑 규칙과 지침을 통해 변환하였다.
• 다양한 도메인 간 스타일의 차이에도 불구하고 일관된 지침을 따르며 주석을 수행하여 실체 레이블링의 일관성을 확보하였다.
• 신뢰할 수 있는 공공 출처에서 텍스트를 수집하였으며, 이는 Wikinews(CC BY 2.5), Liber Liber(공공 영역), 이탈리아 정치 인물의 공식 기록 보관소를 포함한다.
• 이 데이터셋은 CC BY-NC 4.0 라이선스(가스페리의 텍스트는 CC BY-NC-SA 4.0) 하에 배포되며, 비상업적 연구 및 배포를 가능하게 하며 GitHub 경유로 접근할 수 있다.

실험 결과

연구 질문

• RQ1 고품질 골드 표준 주석이 포함된 대규모 다국어·다도메인 이탈리아어 NER 데이터셋을 구축할 수 있는가?
• RQ2 KIND에서 훈련된 NER 모델의 성능은 뉴스, 문학, 정치적 논의와 같은 다양한 도메인 간에 어떻게 비교되는가?
• RQ3 뉴스 외의 도메인(예: 문학 및 정치 연설)을 포함시킬 경우, 이탈리아어 NER 시스템의 강건성과 일반화 능력은 어느 정도 향상되는가?
• RQ4 반자동 주석 파이프라인은 역사적 또는 공식적인 정치 텍스트에 적용되었을 때 주석 품질을 얼마나 잘 유지하는가?
• RQ5 KIND는 다국어 및 자원이 제한된 이탈리아어 NLP 시스템의 평가 및 개선을 위한 벤치마크로 기능할 수 있는가?

주요 결과

• KIND는 총 100만 개 이상의 토큰을 포함하며, 뉴스(308,622 토큰), 문학(192,448 토큰), 정치적 논의(543,240 토큰)의 세 도메인에서 60만 개의 수작업 주석 토큰을 포함한다.
• 수작업 주석 부분에는 10,665개의 인물, 14,955개의 조직, 15,013개의 장소 실체가 포함되어 있으며, 도메인 간 균형 잡힌 분포를 보인다.
• 이 데이터셋은 현재까지 가장 큰 골드 표준 이탈리아어 NER 자원으로, 이전 벤치마크인 I-CAB(18만 단어)와 MEANTIME(480편의 기사)를 뛰어넘는다.
• 알도 모로의 글에 대한 반자동 주석 처리(392,604 토큰)는 높은 일관성을 확보하여, 공식적인 정치 논의를 최소한의 인간 노력으로 포함시킬 수 있었다.
• 이 데이터셋은 CC BY-NC 4.0 하에 무료로 제공되며, 전체 텍스트와 주석은 GitHub 리포지토리에서 접근 가능하여 재현 가능성과 커뮤니티 활용을 지원한다.
• 문학 및 정치적 논의의 포함은 이탈리아어 NER 자원의 언어 다양성을 확장하여, 모델이 뉴스어를 초월한 일반화 능력을 갖출 수 있도록 한다.