[논문 리뷰] RuNNE-2022 Shared Task: Recognizing Nested Named Entities

Ekaterina Artemova, Maxim Zmeev외 5명|arXiv (Cornell University)|2022. 05. 23.

Topic Modeling인용 수 6

한 줄 요약

이 논문은 러시아어에서 중첩 명명된 실체 인식(NER)을 위한 RuNNE-2022 공동 과제를 제시하며, 29개의 실체 유형과 최대 6단계의 중첩을 포함한 NEREL 데이터셋을 사용한다. 일반 및 소수 샘플 설정을 평가하여, 철저히 설계된 규칙 기반 시스템이 신경망 모델을 능가할 수 있음을 밝혀내며, 수동 데이터 레이블링이 없는 최고의 신경망 접근 방식은 기계 읽기 이해(MRC) 모델임을 확인한다.

ABSTRACT

The RuNNE Shared Task approaches the problem of nested named entity recognition. The annotation schema is designed in such a way, that an entity may partially overlap or even be nested into another entity. This way, the named entity "The Yermolova Theatre" of type "organization" houses another entity "Yermolova" of type "person". We adopt the Russian NEREL dataset for the RuNNE Shared Task. NEREL comprises news texts written in the Russian language and collected from the Wikinews portal. The annotation schema includes 29 entity types. The nestedness of named entities in NEREL reaches up to six levels. The RuNNE Shared Task explores two setups. (i) In the general setup all entities occur more or less with the same frequency. (ii) In the few-shot setup the majority of entity types occur often in the training set. However, some of the entity types are have lower frequency, being thus challenging to recognize. In the test set the frequency of all entity types is even. This paper reports on the results of the RuNNE Shared Task. Overall the shared task has received 156 submissions from nine teams. Half of the submissions outperform a straightforward BERT-based baseline in both setups. This paper overviews the shared task setup and discusses the submitted systems, discovering meaning insights for the problem of nested NER. The links to the evaluation platform and the data from the shared task are available in our github repository: https://github.com/dialogue-evaluation/RuNNE.

연구 동기 및 목표

• 풍부하게 주석이 달린 데이터셋을 기반으로 러시아어에서 중첩 명명된 실체 인식(NER)을 발전시키기 위해 공동 과제를 조직함.
• 학습 데이터에서 일부 실체 유형이 희귀하지만 테스트에서 균형을 이루는 경우를 포함한 일반 및 소수 샘플 설정에서 시스템을 평가함.
• 복잡한 중첩 실체 구조를 다룰 때 신경망과 규칙 기반 접근 방식의 성능을 비교함.
• 실체 유형 분류에서의 일반적인 오류 패턴과 시스템 간 일치도를 규명함.
• 미래의 연구를 위해 저자원 및 복잡한 언어적 환경에서의 중첩 NER를 위한 기준과 개방형 데이터를 제공함.

제안 방법

• 공동 과제는 러시아어 위키뉴스에서 유래한 NEREL 데이터셋을 사용하며, 29개의 실체 유형과 최대 6단계의 중첩을 포함한다.
• 두 가지 평가 설정이 정의된다: 일반(균형 잡힌 실체 빈도) 및 소수 샘플(학습에서 저빈도 유형, 테스트에서 균형 잡힘).
• 참가자들은 신경망, 규칙 기반 방법, 또는 하이브리드 접근 방식을 사용해 시스템을 제출한다.
• 평가 기준은 정확한 스파이크 및 유형 일치이며, 정밀도, 재현율, F1 등의 지표를 사용한다.
• 오류 분석은 잘못 분류된 실체 유형과 코헨의 카파를 사용한 쌍별 일치도에 중점을 둔다.
• 기계 읽기 이해(MRC) 모델이 수동 레이블링 없이도 최고의 신경망 베이스라인 성능을 보였다.

실험 결과

연구 질문

• RQ1 반복적인 규칙 개선을 통해 세밀하게 튜닝된 규칙 기반 시스템이 중첩 NER에서 신경망 모델을 능가할 수 있는가?
• RQ2 저빈도 실체 유형을 포함한 소수 샘플 중첩 NER 시나리오에서 다양한 신경망 아키텍처의 성능은 어떻게 되는가?
• RQ3 다양한 시스템 간 실체 유형 분류에서 가장 흔한 오류 패턴은 무엇인가?
• RQ4 시스템 예측 간 상관관계는 어떻게 되며, 이는 일반화와 규칙 기반 학습 간의 차이를 어떻게 시사하는가?
• RQ5 수동 데이터 레이블링 없이도 최고의 성능을 내는 모델 아키텍처는 무엇인가?

주요 결과

• 156개의 제출 중 절반 이상이 일반 및 소수 샘플 설정 양쪽에서 BERT 기반 베이스라인을 초월했다.
• 규칙 기반 시스템(pullenti)이 뛰어난 성능을 보였으며, 적절히 튜닝된 수동 규칙이 신경망 모델을 능가할 수 있음을 시사한다.
• 수동 레이블링 없이도 최고 성능을 보인 신경망 모델은 기계 읽기 이해(MRC) 모델이었다.
• 가장 흔한 오류는 'organization'(기관)를 'facility'(시설) 또는 'country'(국가)를 'nationality'(국적)로 잘못 분류하는 것이었다.
• 세 개의 성능이 열악한 시스템(svetlan, botbot, Stud2022)은 상호 간 높은 일치도를 보였으며, 규칙 기반 시스템과도 유사한 일치도를 보여, 유사한 규칙 기반 학습 패턴을 따르는 것으로 나타났다.
• 쌍별 시스템 일치도에 대한 코헨의 카파 값은 0.28에서 0.78 사이로 다양하게 나타났으며, 이는 일관성 수준의 다양성을 시사하며, 규칙 기반 시스템은 서로 뭉쳐 있는 경향을 보였다.