[논문 리뷰] Automatically Annotated Turkish Corpus for Named Entity Recognition and Text Categorization using Large-Scale Gazetteers

H. Bahadir Sahin, Çağlar Tırkaz외 3명|arXiv (Cornell University)|2017. 02. 08.

Topic Modeling참고 문헌 25인용 수 8

한 줄 요약

이 논문은 Freebase 기반의 어휘사전과 노이즈 감소 기법을 사용하여 자동으로 주석 처리된 대규모 터키어 코퍼스인 TWNERTC 데이터셋을 소개한다. 이는 명명된 실체 인식(NER) 및 텍스트 분류(TC)를 위한 것으로, 세분화된 유형과 개괄적인 유형을 모두 포함하며, 인간 주석 처리 기준과 높은 일치도(최대 59.5%의 top-5 일치)를 보이며, 터키어 자연어 처리 연구를 위한 가장 큰 공개 자원이 되었다.

ABSTRACT

Turkish Wikipedia Named-Entity Recognition and Text Categorization (TWNERTC) dataset is a collection of automatically categorized and annotated sentences obtained from Wikipedia. We constructed large-scale gazetteers by using a graph crawler algorithm to extract relevant entity and domain information from a semantic knowledge base, Freebase. The constructed gazetteers contains approximately 300K entities with thousands of fine-grained entity types under 77 different domains. Since automated processes are prone to ambiguity, we also introduce two new content specific noise reduction methodologies. Moreover, we map fine-grained entity types to the equivalent four coarse-grained types: person, loc, org, misc. Eventually, we construct six different dataset versions and evaluate the quality of annotations by comparing ground truths from human annotators. We make these datasets publicly available to support studies on Turkish named-entity recognition (NER) and text categorization (TC).

연구 동기 및 목표

• NER 및 TC 작업을 위한 주석 처리된 터키어 데이터셋 부족 문제를 해결하기 위해 대규모 자동 주석 처리 코퍼스를 구축하기 위해.
• 모호성 및 노이즈와 같은 자동 실체 주석 처리 과정에서 발생하는 과제를 도메인 특화 및 도메인 독립적 노이즈 감소 방법을 통해 극복하기 위해.
• 기준 테스트를 위한 터키어 NLP 시스템 평가를 위해 세분화된 유형과 개괄적인 유형을 모두 포함한 종합적인 데이터셋을 구축하기 위해.
• 자동 주석 처리 품질을 인간 주석 처리 기준과 비교하여 평가함으로써, 향후 연구에 대한 신뢰성을 확보하기 위해.

제안 방법

• Freebase에서 엔티티 및 도메인 정보를 추출하기 위해 그래프 크롤러를 사용하여 대규모 어휘사전을 구축하여 약 300만 개의 엔티티와 77개의 도메인, 수천 개의 세분화된 유형을 확보하였다.
• 세분화된 엔티티 유형을 네 가지 개괄적 유형(사람, 장소, 조직, 기타)으로 매핑하여 다수 수준의 NER 평가를 가능하게 하였다.
• 노이즈 감소 방법으로 도메인 독립적 및 도메인 특화 방법을 적용하여, 모호한 엔티티 유형 매핑 문제를 해결함으로써 주석 품질을 향상시켰다.
• 어휘사전을 사용하여 터키어 위키백과 문장을 자동으로 주석 처리하여, 노이즈 감소 및 엔티티 유형의 세분화 정도에 따라 여섯 가지 다른 데이터셋 버전을 생성하였다.
• 자동 주석 처리 결과를 인간 주석 처리 기준과 비교하여 F1 점수 및 top-k 일치도 지표를 사용하여 주석 품질을 평가하였다.
• 모든 데이터셋 버전을 DOI를 통해 공개하여 터키어 NLP 연구, 특히 NER 및 TC 작업의 기준 테스트에 활용 가능하도록 하였다.

실험 결과

연구 질문

• RQ1 Freebase에서 유도된 대규모 어휘사전을 사용한 자동 실체 주석 처리가 터키어 NLP 작업에 얼마나 효과적인가?
• RQ2 도메인 특화 및 도메인 독립적 노이즈 감소 방법이 터키어 NER 및 TC 작업의 주석 품질 향상에 어느 정도 기여하는가?
• RQ3 자동으로 할당된 세분화된 엔티티 유형과 텍스트 카테고리가 터키어 텍스트에서 인간 주석 처리 기준과 얼마나 잘 일치하는가?
• RQ4 엄격 기준, 매크로, 마이크로 F1 점수로 평가했을 때 자동 NER 및 TC 주석 처리의 성능은 어떠한가?
• RQ5 다중 후보 유형(1위에서 5위까지)을 고려할 경우, 자동 예측과 인간 주석자 간 일치도는 어떻게 변화하는가?

주요 결과

• 세분화된 NER 평가에서 TWNERTC 데이터셋은 인간 주석자와 59.5%의 top-5 일치도를 기록하여 인간 판단과 강한 일치를 보였다.
• 도메인 독립적(DI) 노이즈 감소 방법이 도메인 특화(DD) 방법보다 우수한 성능을 보였으며, F1 점수는 느슨한 매크로 기준 0.494, 느슨한 마이크로 기준 0.476를 기록하였다.
• 텍스트 분류 작업에서는 1위 정확도가 46.4%였지만, 3위까지 고려할 경우 90.0%, 5위까지 고려할 경우 97.5%로 상승하여 도메인 할당의 정확도가 매우 높다는 것을 보여주었다.
• 원본 TWNERTC 데이터셋은 엄격한 F1 점수(0.274)에서 성능이 열악했지만, 노이즈 감소를 적용한 후처리 버전에서는 성능이 크게 향상되었다.
• 다중 후보 유형을 고려할 경우 인간 주석자와 자동 예측 간 높은 일치도를 보였으며, 이는 자동 주석 처리 파이프라인의 신뢰성을 검증하는 데 기여하였다.
• 지식 기반 데이터베이스인 Freebase를 활용한 자동 주석 처리에 더해 노이즈 감소 기법을 적용할 경우, 터키어와 같은 저자원 언어에 대해 고품질이고 확장 가능한 데이터셋을 생성할 수 있음을 확인하였다.