[논문 리뷰] PEYMA: A Tagged Corpus for Persian Named Entities

Mahsa S. Shahshahani, Mahdi Mohseni외 2명|arXiv (Cornell University)|2018. 01. 30.

Natural Language Processing Techniques인용 수 7

한 줄 요약

이 논문은 이ран의 10개 웹사이트에서 수집한 뉴스 기사들로부터 구축한 대규모로 자유롭게 이용 가능한 태그가 부여된 페르시아어 명명된 실체 인식(NER) 코퍼스인 PEYMA를 소개한다. CoNLL 및 MUC 기준에 영감을 받아 유도된 지침을 따르며, 개인, 장소, 조직 유형의 실체에 대해 일관된 레이블링을 제공하는 표준화된 데이터셋을 구축함으로써 페르시아어 자연어 처리(NLP) 분야의 벤치마크 자원 부족 문제를 해결하고, 페르시아어 NER 시스템의 향상된 훈련 및 평가를 가능하게 한다.

ABSTRACT

The goal in the NER task is to classify proper nouns of a text into classes such as person, location, and organization. This is an important preprocessing step in many NLP tasks such as question-answering and summarization. Although many research studies have been conducted in this area in English and the state-of-the-art NER systems have reached performances of higher than 90 percent in terms of F1 measure, there are very few research studies for this task in Persian. One of the main important causes of this may be the lack of a standard Persian NER dataset to train and test NER systems. In this research we create a standard, big-enough tagged Persian NER dataset which will be distributed for free for research purposes. In order to construct such a standard dataset, we studied standard NER datasets which are constructed for English researches and found out that almost all of these datasets are constructed using news texts. So we collected documents from ten news websites. Later, in order to provide annotators with some guidelines to tag these documents, after studying guidelines used for constructing CoNLL and MUC standard English datasets, we set our own guidelines considering the Persian linguistic rules.

연구 동기 및 목표

• 연구를 위해 표준화되고 대규모인 페르시아어 NER 데이터셋이 부족한 문제를 해결하기 위해.
• 훈련 및 평가를 위한 신뢰할 수 있고 일관되며 공개 가능한 코퍼스를 구축하기 위해.
• CoNLL 및 MUC와 같은 기존 영어 NER 데이터셋에서 영감을 얻어, 페르시아어 언어학적 구조에 맞게 조정된 주석 지침을 개발하기 위해.
• 다양한 뉴스 출처에서 풍부한 양의 페르시아어 텍스트를 수집하고 태그를 부여하여 언어 다양성과 포괄성을 확보하기 위해.
• 질의 응답, 요약, 정보 추출과 같은 후속 NLP 작업을 지원하기 위해.

제안 방법

• 언어 다양성과 실제 적용의 관련성을 확보하기 위해 10개 이ран 뉴스 웹사이트에서 문서를 수집하였다.
• CoNLL 및 MUC 영어 NER 데이터셋 분석을 바탕으로, 페르시아어의 형태소구문 및 철자적 특성에 맞게 조정된 주석 지침을 설계하였다.
• 개발된 지침을 사용해 인간 주석자들이 수집된 텍스트 내 명명된 실체를 레이블링하였다.
• 표준 카테고리인 개인, 장소, 조직으로 실체를 분류하였다.
• 반복적인 주석 작업, 검토 및 일致성 검사를 통해 일관성과 품질을 확보하였다.
• 오픈 액세스 원칙을 준수하여 최종 코퍼스를 연구 목적을 위해 공개하였다.

실험 결과

연구 질문

• RQ1 실제 언어적 다양성을 반영하는 표준화된 페르시아어 NER 코퍼스를 구축하는 데 가장 효과적인 방법은 무엇인가?
• RQ2 기존 영어 NER 표준과 일치시키기 위해 페르시아어 NER 주석 지침을 어떻게 설계할 수 있는가?
• RQ3 사용자 정의 지침을 사용해 페르시아어 명명된 실체를 주석할 때 도달할 수 있는 상호 주석자 일致 수준은 어느 정도인가?
• RQ4 대규모로 공개 가능한 페르시아어 NER 코퍼스는 페르시아어 NLP 시스템의 성능 향상에 상당한 기여를 할 수 있는가?
• RQ5 영어 NER 데이터셋과 비교할 때 페르시아어 NER 데이터셋을 구축하는 데 있어 핵심 과제는 무엇인가?

주요 결과

• PEYMA 코퍼스는 명명된 실체가 태그가 부여된 풍부한 양의 페르시아어 텍스트를 포함하고 있어 페르시아어 NLP의 기초 자원을 제공한다.
• 주석 과정에서 높은 일관성이 달성되어 개발된 지침의 효과성을 입증한다.
• 코퍼스는 공개되어 있어 훈련 및 평가를 위한 페르시아어 NER 시스템에 널리 활용될 수 있다.
• 실제 뉴스 기사에서 구축된 데이터셋으로, 실용적인 NLP 응용 분야에서의 대표성과 유용성이 높아진다.
• 이 연구는 페르시아어 NLP 분야에서 첫 번째로 대규모로 표준화되고 자유롭게 이용 가능한 NER 코퍼스를 제공함으로써 중요한 격차를 메운다.
• 구조화된 지침과 신중한 주석 작업을 통해 저자원 언어인 페르시아어에 대해 고품질 NER 코퍼스를 구축하는 것이 가능함을 입증한다.