[논문 리뷰] Improving Named Entity Recognition with Attentive Ensemble of Syntactic Information

Yuyang Nie, Yuanhe Tian외 3명|arXiv (Cornell University)|2020. 10. 29.

Topic Modeling참고 문헌 71인용 수 5

한 줄 요약

이 논문은 키-값 메모리 네트워크, 문법 주의 메커니즘, 게이트 기반 메커니즘을 활용해 문법 정보의 주의적 앙상블을 통해 성능을 향상시키는 신경 NER 모델인 AESINER를 제안한다. 이 모델은 품사 태그, 문법 구성요소, 의존 관계를 선택적으로 인코딩하고 가중치를 부여하며 통합함으로써, 잡음이 있는 정보를 억제하면서도 관련성이 높은 문법적 특징을 동적으로 강조함으로써, 여섯 개인 영어 및 중국어 벤치마크 데이터셋에서 최고의 F1 스코어를 달성한다.

ABSTRACT

Named entity recognition (NER) is highly sensitive to sentential syntactic and semantic properties where entities may be extracted according to how they are used and placed in the running text. To model such properties, one could rely on existing resources to providing helpful knowledge to the NER task; some existing studies proved the effectiveness of doing so, and yet are limited in appropriately leveraging the knowledge such as distinguishing the important ones for particular context. In this paper, we improve NER by leveraging different types of syntactic information through attentive ensemble, which functionalizes by the proposed key-value memory networks, syntax attention, and the gate mechanism for encoding, weighting and aggregating such syntactic information, respectively. Experimental results on six English and Chinese benchmark datasets suggest the effectiveness of the proposed model and show that it outperforms previous studies on all experiment datasets.

연구 동기 및 목표

• 기존의 NER 모델이 문법적 특징을 고정된 정답 입력으로 간주하여 그 중요성이나 잡음 여부를 구분하지 않는 한계를 해결하기 위해.
• 맥락에 따라 다양한 종류의 문법 정보(품사, 구성요소, 의존 관계)를 지능적으로 인코딩하고, 가중치를 매기며 통합할 수 있는 메커니즘을 개발하기 위해.
• 정적 및 컨텍스트 기반 단어 임베딩을 결합하여 문법적으로 인지된 주의 메커니즘을 활용함으로써 NER 성능을 향상시키기 위해.
• 주의적 앙상블의 효과성을 입증하기 위해, 정보가 많은 문법 신호에만 집중하고 잡음이 많거나 관련이 없는 특징의 영향을 최소화하는 데 초점을 맞추기 위해.

제안 방법

• 키-값 메모리 네트워크(KVMN)는 각 토큰에 대해 맥락 특징과 그에 해당하는 문법 정보를 인코딩하는 데 사용된다.
• 문법 주의 메커니즘은 현재 토큰에 대한 관련성에 따라 다양한 종류의 문법 정보 유형(품사, 구성요소, 의존 관계)에 대해 동적 가중치를 계산한다.
• 게이트 기반 메커니즘은 맥락 인코딩과 문법 주의 메커니즘의 출력을 융합하는 데 사용되며, 맥락에 따라 문법적 영향력을 적응적으로 조절할 수 있도록 한다.
• 정적 및 컨텍스트 기반 임베딩(예: ELMo, BERT, ZEN)을 포함한 다수의 단어 임베딩을 통합하여 입력 표현을 풍부하게 한다.
• 전체 아키텍처는 CRF 디코딩을 사용한 시퀀스 태깅을 통해 엔드 투 엔드 방식으로 학습된다.
• 주의적 앙상블 메커니즘은 정보가 많은 문법 신호에만 집중하고, 잡음이 있거나 관련이 없는 특징의 영향을 억제할 수 있도록 한다.

실험 결과

연구 질문

• RQ1 주의적 앙상블 메커니즘이 다양한 종류의 문법 정보를 선택적으로 가중치를 매김으로써 NER 성능을 향상시킬 수 있는가?
• RQ2 품사, 구성요소, 의존 관계 등의 다수의 문법 특징을 단순히 연결하는 것과 비교해, 이들의 통합이 NER 정확도에 어떤 영향을 미치는가?
• RQ3 컨텍스트 기반 단어 임베딩이 문법적으로 인지된 NER 모델의 성능을 얼마나 향상시키는가?
• RQ4 제안된 게이트 기반 메커니즘이 맥락에 따라 맥락 신호와 문법 신호의 균형을 효과적으로 조절하는가?

주요 결과

• 제안된 AESINER 모델은 여섯 개의 벤치마크 데이터셋 전부에서 최고 성능을 기록했다. 영어 데이터셋은 CoNLL-2003, OntoNotes, ACE05이며, 중국어 데이터셋은 MSRA, CCKS, OntoNotes-Chinese이다.
• CoNLL-2003 데이터셋에서 모델은 F1 스코어 98.65%를 기록하여 이전의 최고 성능 모델을 초월했다.
• ELMo, BERT, ZEN의 세 가지 임베딩 유형을 모두 사용한 모델가 가장 높은 성능을 기록했으며, 더 많은 임베딩 유형을 추가할수록 일관된 F1 향상이 관찰되었다.
• 'Mason was one of the drafters of the Bill of Rights' 문장에서 'Bill'에 대한 케이스 스터디 결과, 문법 주의 메커니즘이 오해의 소지가 있는 품사 태그나 의존 관계 신호보다 '구성요소'(즉, 'LAW')를 더 잘 강조하여 정확한 태깅을 이끌어냈다.
• 문법 특징이 더 정보가 많을 경우 게이트 기반 메커니즘이 더 높은 가중치를 할당함으로써, 맥락에 따라 문법적 영향력이 적응적으로 조절됨을 입증했다.