[논문 리뷰] CAp 2017 challenge: Twitter Named Entity Recognition

Cédric Lopez, Ioannis Partalas외 6명|arXiv (Cornell University)|2017. 07. 24.

Topic Modeling인용 수 11

한 줄 요약

이 논문은 프랑스어 트위터 명명된 실체 인식(NER)을 위한 벤치마크인 CAp 2017 챌린지를 제시한다. 이 벤치마크는 약 6,000개의 주석이 달린 트위터 트윗과 13개의 실체 유형을 포함한다. 공개된 데이터셋을 제공하고, 딥 러닝 및 CRF 기반 방법을 사용한 8개 시스템을 평가하였으며, 최상위 성능을 보인 시스템은 CRF 모델에 고품질의 특징 공학을 적용하여 F1 점수 58.59를 기록하였다.

ABSTRACT

The paper describes the CAp 2017 challenge. The challenge concerns the problem of Named Entity Recognition (NER) for tweets written in French. We first present the data preparation steps we followed for constructing the dataset released in the framework of the challenge. We begin by demonstrating why NER for tweets is a challenging problem especially when the number of entities increases. We detail the annotation process and the necessary decisions we made. We provide statistics on the inter-annotator agreement, and we conclude the data description part with examples and statistics for the data. We, then, describe the participation in the challenge, where 8 teams participated, with a focus on the methods employed by the challenge participants and the scores achieved in terms of F$_1$ measure. Importantly, the constructed dataset comprising $\sim$6,000 tweets annotated for 13 types of entities, which to the best of our knowledge is the first such dataset in French, is publicly available at \url{http://cap2017.imag.fr/competition.html} .

연구 동기 및 목표

• 프랑스어 트위터에서의 명명된 실체 인식(NER)을 위한 공개 가능한 벤치마크를 구축하는 것, 이는 자원이 제한된 도메인이다.
• 짧고 비공식적이며 노이즈가 많은 소셜 미디어 텍스트에서 NER를 수행할 때의 과제를 해결하는 것, 특히 실체 유형의 수가 많을 경우에 초점을 맞춘다.
• 기존 영어 벤치마크와 유사한 크기의 기준 데이터셋을 제공하여 多언어 NLP 분야의 연구를 자극하는 것.
• 저자원, 노이즈가 많은 텍스트 도메인에서 딥 러닝 및 CRF 기반 시스템을 포함한 다양한 NER 접근법을 평가하는 것.
• 외부 데이터 및 자원을 활용할 수 있도록 함으로써 전이 학습 및 도메인 적응 연구를 가능하게 하는 것.

제안 방법

• 데이터셋은 트위터의 공개 API를 사용하여 수집하였으며, 프랑스어를 모국어로 하는 NER 경험이 풍부한 사람들의 수작업 주석을 기반으로 하였다.
• 13개의 실체 유형(사람, 음악 아티스트, 조직, 지리적 위치, 제품, 교통 노선, 미디어, 스포츠 팀, 이벤트, 텔레비전 프로그램, 영화, 시설, 기타)을 정의하기 위해 엄격한 지침을 따르였다.
• 데이터셋은 학습용(4,000개 트윗)과 테스트용(2,685개 트윗)으로 분할되었으며, 이중 주석자 간 일致도는 F1 점수 0.786로 측정되었다.
• 참가자들은 양방향 GRU, 수작업 특징을 적용한 CRF, 영어 트위터에서의 전이 학습 등을 포함한 다양한 방법을 사용하였다.
• 특징 공학에는 형태소적·구문적, 어휘적, 문맥적 표현이 포함되었으며, 일부 시스템은 단어 임베딩과 문자 수준의 CNN을 사용하였다.
• 평가에는 공식 메트릭으로 마이크로 평균 F1 점수를 사용하였으며, 모든 시스템의 정밀도, 재현도, F1 점수 결과가 보고되었다.

실험 결과

연구 질문

• RQ1 짧고 비공식적인 텍스트, 예를 들어 트위터와 같은 환경에서 실체 유형의 다양성이 높을 경우 NER 성능에 어떤 영향을 미치는가?
• RQ2 저자원, 노이즈가 많은 텍스트 환경에서 고도로 특징 공학을 적용한 CRF 기반 모델과 딥 네트워크 간의 성능 비교는 어떻게 되는가?
• RQ3 영어 NER 시스템에서의 전이 학습이 프랑스어 트위터 NER 성능 향상에 얼마나 기여하는가?
• RQ4 저자원 환경에서 외부 데이터 및 자원의 통합이 시스템 성능에 어떤 영향을 미치는가?
• RQ5 노이즈가 많은 소셜 미디어 텍스트에서 복잡하고 다중 유형의 NER 작업에서 달성할 수 있는 주석자 간 일치도는 어느 정도인가?

주요 결과

• CAp 2017 챌린지는 약 6,000개의 트위터 트윗과 13개의 실체 유형을 포함한 첫 번째 공개된 프랑스어 트위터 NER 데이터셋을 발표하여, 프랑스어 NLP 분야의 기준 벤치마크가 되었다.
• 최상위 성능을 기록한 시스템인 SPMdC17는 CRF에 고품질의 형태소적·분포적 표현 및 단어 클러스터 특징을 조합하여 F1 점수 58.59를 기록하였다.
• 두 번째로 높은 성능을 기록한 시스템인 GMH17는 양방향 GRU와 CRF를 조합하여 F1 점수 58.59를 달성하였으며, 딥 러닝을 활용하고 특징 공학을 최소화한 점에서 뛰어난 성능을 보였다.
• 학습 세트와 테스트 세트 간 공통 실체의 비율은 15.7%에 불과하여 데이터 분포의 변화가 심하고 일반화에 높은 도전 과제가 있음을 시사한다.
• 정밀도가 가장 높은 점수(78.76)를 기록한 Lattice 시스템은 재현도가 낮은 점(31.95)을 보였으며, 이는 정밀도-재현도 간 상충 관계를 잘 보여준다.
• 가장 낮은 F1 점수는 21.28(geolsemantics)였으며, 이는 특히 희귀하거나 모호한 실체를 다룰 때 성능의 큰 변동성이 있음을 시사한다.