[논문 리뷰] BoningKnife: Joint Entity Mention Detection and Typing for Nested NER via prior Boundary Knowledge

Huiqiang Jiang, Guoxin Wang외 3명|arXiv (Cornell University)|2021. 07. 20.

Topic Modeling참고 문헌 26인용 수 8

한 줄 요약

BoningKnife는 중첩 NER를 위한 공동 엔티티 멘션 탐지 및 유형 지정 모델을 제안하며, 정확도와 효율성을 향상시키기 위해 사전 경계 지식을 활용한다. 경계 인식 개선을 위한 MentionTagger와 중첩 레벨을 분리하기 위한 이중 수준 주의 메커니즘을 갖춘 TypeClassifier를 통합함으로써, ACE2004, ACE2005, NNE에서 각각 86.41, 85.46, 94.2의 최신 기준 F1 스코어를 달성하며, 스팬 기반 기준 대비 최대 4.18배 빠른 학습 속도를 확보한다.

ABSTRACT

While named entity recognition (NER) is a key task in natural language processing, most approaches only target flat entities, ignoring nested structures which are common in many scenarios. Most existing nested NER methods traverse all sub-sequences which is both expensive and inefficient, and also don't well consider boundary knowledge which is significant for nested entities. In this paper, we propose a joint entity mention detection and typing model via prior boundary knowledge (BoningKnife) to better handle nested NER extraction and recognition tasks. BoningKnife consists of two modules, MentionTagger and TypeClassifier. MentionTagger better leverages boundary knowledge beyond just entity start/end to improve the handling of nesting levels and longer spans, while generating high quality mention candidates. TypeClassifier utilizes a two-level attention mechanism to decouple different nested level representations and better distinguish entity types. We jointly train both modules sharing a common representation and a new dual-info attention layer, which leads to improved representation focus on entity-related information. Experiments over different datasets show that our approach outperforms previous state of the art methods and achieves 86.41, 85.46, and 94.2 F1 scores on ACE2004, ACE2005, and NNE, respectively.

연구 동기 및 목표

• 모든 부분 시퀀스를 순회하는 기존 중첩 NER 방법의 비효율성과 중첩 레벨 처리 부족 문제를 해결하기 위해.
• 시작/종료 토큰을 초월한 더 풍부한 경계 지식을 통합하여 깊이 있는 중첩 및 장거리 엔티티 인식을 향상시키기 위해.
• 다른 중첩 레벨 간의 표현을 분리하여 유형 분류 정확도를 향상시키기 위해.
• 공유 인코더와 이중 정보 주의 레이어를 통해 멘션 탐지와 유형 지정을 공동 최적화하여 표현 집중도를 높이기 위해.
• 초기 단계에서 고품질의 멘션 후보를 생성함으로써 성능을 훼손하지 않으면서도 효율성을 향상시키기 위해.

제안 방법

• 모델은 두 모듈 아키텍처를 사용한다: 경계 인식 멘션 후보 생성을 위한 MentionTagger와 유형 예측을 위한 TypeClassifier.
• MentionTagger는 엔티티 시작, 종료 및 영역 수준 정보 간의 상호작용을 모델링하여 경계 지식을 향상시키고, 중첩 및 장거리 스파닝 탐지 능력을 향상시킨다.
• TypeClassifier는 이중 수준 주의 메커니즘을 활용해 서로 다른 중첩 레벨 간의 표현을 분리하고, 유형 식별 능력을 향상시킨다.
• 이중 정보 주의 레이어는 멘션 탐지 출력과 컨텍스트 표현을 융합하여, 엔티티 관련 특징에 대한 집중도가 향상된 공동 학습을 가능하게 한다.
• 공유 BERT 기반 인코더와 엔드 투 엔드 최적화를 통해 공동 학습을 수행하며, 모든 부분 시퀀스 열거에 대한 의존도를 줄인다.
• 모든 스팬 열거를 피하기 위해 고품질의 후보를 생성함으로써, 시간 복잡도를 O(m·n²)에서 훨씬 효율적인 척도로 감소시킨다.

실험 결과

연구 질문

• RQ1 시작/종료 토큰을 초월한 사전 경계 지식이 중첩 및 장거리 스팬 엔티티 탐지에 향상 효과를 줄 수 있는가?
• RQ2 다른 중첩 레벨을 효과적으로 분리하여 겹치는 멘션에서의 엔티티 유형 분류 정확도를 향상시킬 수 있는가?
• RQ3 이중 정보 주의 레이어를 활용한 멘션 탐지 및 유형 지정의 공동 학습이 표현 집중도와 모델 성능을 향상시킬 수 있는가?
• RQ4 후보 생성 복잡도를 줄임으로써 정확도를 떨어뜨리지 않고 효율성이 얼마나 향상되는가?
• RQ5 기본 중첩 NER 벤치마크에서 최신 기준 모델과 비교해 F1 스코어와 학습 시간 측면에서 어떤 성능을 보이는가?

주요 결과

• BoningKnife는 ACE2004에서 86.41, ACE2005에서 85.46, NNE에서 94.2의 최신 기준 F1 스코어를 달성하여 이전 방법을 능가한다.
• 스패닝 기반 기준 대비 ACE2004에서는 1.75배, ACE2005에서는 1.83배, NNE에서는 최대 4.18배 빠른 학습 시간을 확보한다.
• 제거 실험 결과 MentionTagger를 제거할 경우 ACE2004에서 F1이 31.54로 급격히 하락함을 확인하여, 후보 품질 향상에 있어 핵심적 역할을 함을 입증한다.
• 주의 시각화 결과 이중 정보 주의 레이어가 관련 엔티티 토큰과 그 이웃 토큰에 효과적으로 집중함을 보여주며, 의미적 일치도 향상됨을 확인했다.
• S/E 기반 방법과 달리, 종료 토큰 확률이 낮더라도 'those so injured'와 같은 장거리 중첩 스팬을 정확히 식별한다.
• 이중 정보 주의 레이어는 전반적 컨텍스트와 멘션 전용 집중을 융합하여 더 나은 표현 학습을 이끌어내어 성능 향상을 이룬다.