[논문 리뷰] Generalisation in Named Entity Recognition: A Quantitative Analysis

Isabelle Augenstein, Leon Derczynski외 1명|White Rose Research Online (University of Leeds, The University of Sheffield, University of York)|2017. 01. 11.

Topic Modeling참고 문헌 43인용 수 4

한 줄 요약

이 논문은 다양한 텍스트 장르에서 명시적 개체 인식(NER)의 일반화 과제를 정량적으로 분석하며, 알려지지 않은 명시적 개체와 OOV(학습 중에 볼 수 없었던) 특징이 F1 점수를 크게 떨어뜨린다는 것을 발견한다. 특히 소셜 미디어 및 웹 콘텐츠에서 두드러진다. 이는 최신 NER 모델, 특히 표면 형식 기억에 의존하는 모델이 학습 데이터를 초월해 일반화하는 데 어려움을 겪음을 보여주며, SENNA는 단어 임베딩 덕분에 가장 뛰어난 성능을 보인다. 성능은 코퍼스 크기나 특징 희박성보다는 알려지지 않은 명시적 개체의 비율과 가장 강하게 상관된다.

ABSTRACT

Named Entity Recognition (NER) is a key NLP task, which is all the more challenging on Web and user-generated content with their diverse and continuously changing language. This paper aims to quantify how this diversity impacts state-of-the-art NER methods, by measuring named entity (NE) and context variability, feature sparsity, and their effects on precision and recall. In particular, our findings indicate that NER approaches struggle to generalise in diverse genres with limited training data. Unseen NEs, in particular, play an important role, which have a higher incidence in diverse genres such as social media than in more regular genres such as newswire. Coupled with a higher incidence of unseen features more generally and the lack of large training corpora, this leads to significantly lower F1 scores for diverse genres as compared to more regular ones. We also find that leading systems rely heavily on surface forms found in training data, having problems generalising beyond these, and offer explanations for this observation.

연구 동기 및 목표

• 많은 NER 시스템이 언어적 다양성과 알려지지 않은 개체로 인해 소셜 미디어와 같은 사용자 생성 콘텐츠에 일반화하지 못한다.
• 기존 연구는 장르 간 엔티티 다양성, 맥락 변동성, OOV 특징이 NER 성능에 미치는 영향을 정량적으로 분석하지 못하고 있다.
• 이 연구는 특히 저자원, 다양한 코퍼스에서의 성능 저하의 주요 원인을 규명하는 데 목적이 있다.
• 연구자들은 학습 데이터 표면 형식의 기억이 열악한 일반화를 설명하는지 평가하고, 더 큰 또는 도메인 적응된 학습 데이터가 이를 완화할 수 있는지 탐구한다.
• 실세계 NLP 응용에서의 강건성 향상을 위해 알려지지 않은 명시적 개체와 특징의 역할을 이해하는 것이 핵심이다.

제안 방법

• 실험은 스튜디오 NER, SENNA, CRFSuite와 같은 세 가지 최신 NER 시스템을 사용하여 뉴스레터, 브로드캐스트 뉴스, 블로그, 전화 통화 음성, Usenet을 포함한 여섯 가지 벤치마크 코퍼스에서 비교한다.
• 코퍼스는 CoNLL(뉴스레터), MUC-7(뉴스레터), ACE(다양한 장르), OntoNotes(다양한 장르), Ritter Twitter, MSM 2013 등 다양한 장르를 포함하여 광범위한 커버리지 확보.
• 성능 평가는 F1 점수, 정밀도, 재현율을 사용하며, 특히 알려지지 않은 명시적 개체와 OOV 특징에 중점을 둔다.
• 알려지지 않은 명시적 개체는 테스트 세트에 있지만 학습 세트에 없는 것으로 정의되며, OOV 특징은 학습 중에 볼 수 없었던 어휘적 또는 문법적 특징을 의미한다.
• 기억 기반 기준선을 사용하여 학습에서 관측된 각 토큰 시퀀스에 대해 가장 빈도가 높은 NE 레이블을 예측함으로써 성능을 예측한다.
• 코퍼스 분석을 통해 엔티티 다양성, 맥락 변동성, 특징 희박성을 정량화하여 시스템 성능와 상관관계를 분석한다.

실험 결과

연구 질문

• RQ1 RQ1: 다양한 코퍼스에서 다양한 NER 접근 방식의 NERC 성능는 어떻게 다를까?
• RQ2 RQ2: NERC 성능는 다양한 텍스트 장르와 코퍼스 간에 어떻게 변할까?
• RQ3 RQ3: 엔티티 다양성이 시스템 성능에 어떤 영향을 미치는가?
• RQ4 RQ4: OOV 특징, OOV 엔티티, F1 점수 간의 관계는 무엇인가?
• RQ5 RQ5: NER 방법은 도메인 외부로 일반화하는 데 얼마나 잘 되는가, 그리고 알려지지 않은 명시적 개체는 성능에 어떤 영향을 미치는가?

주요 결과

• SENNA는 모든 코퍼스에서 가장 높은 F1 점수를 기록하며, 스튜디오 NER와 CRFSuite를 앞서며 주로 딥러닝 기반 단어 임베딩 덕분이다.
• 명시적 개체 수가 가장 많은 코퍼스임에도 불구하고 OntoNotes NW는 CoNLL보다 낮은 F1 점수를 기록하여, 코퍼스 크기만으로는 더 나은 성능을 보장하지 못한다는 것을 보여준다.
• 알려지지 않은 명시적 개체 비율이 높은 코퍼스는 F1 점수가 유의미하게 낮으며, 모든 모델에서 알려지지 않은 엔티티에 대한 성능은 알려진 엔티티보다 약 17점 낮다.
• CoNLL 뉴스레터 코퍼스는 알려지지 않은 명시적 개체 비율이 가장 낮아 가장 높은 F1 점수를 기록하여, 엔티티 다양성이 성능의 핵심 예측 변수임을 확인한다.
• 기억 기반 기준선—학습에서 관측된 각 토큰 시퀀스에 대해 가장 빈도가 높은 NE 레이블을 예측하는 방식—은 시스템 정확도를 강력하게 예측하며, 이는 모델들이 학습 데이터 표면 형식을 강하게 기억하고 있음을 시사한다.
• 도메인 외부 학습은 성능 저하를 야기하지만, 도메인 외부 기억 기반 기준선이 도메인 내 기준선을 능가하지 않는 한, 도메인 일치가 일반화에 매우 중요하다는 것을 시사한다.