[논문 리뷰] Neural Entity Reasoner for Global Consistency in NER

Xiaoxiao Yin, Daqi Zheng외 2명|arXiv (Cornell University)|2018. 09. 30.

Topic Modeling참고 문헌 22인용 수 8

한 줄 요약

이 논문은 신뢰할 수 있는 다층 신경망 아키텍처인 Neural Entity Reasoner(NE-Reasoner)를 제안한다. 이는 심벌릭 후보 풀과 추론 기반 메커니즘을 통해 문장 간 추론을 가능하게 하여 Named Entity Recognition(NER)의 전반적 일관성을 향상시킨다. CoNLL-2003 영문 NER 벤치마크에서 최고 성능을 기록하였고, 문장 간 실체 일관성을 활용하여 중국어 법원 판결문 NER의 재현율을 향상시켰다.

ABSTRACT

We propose Neural Entity Reasoner (NE-Reasoner), a framework to introduce global consistency of recognized entities into Neural Reasoner over Named Entity Recognition (NER) task. Given an input sentence, the NE-Reasoner layer can infer over multiple entities to increase the global consistency of output labels, which then be transfered into entities for the input of next layer. NE-Reasoner inherits and develops some features from Neural Reasoner 1) a symbolic memory, allowing it to exchange entities between layers. 2) the specific interaction-pooling mechanism, allowing it to connect each local word to multiple global entities, and 3) the deep architecture, allowing it to bootstrap the recognized entity set from coarse to fine. Like human beings, NE-Reasoner is able to accommodate ambiguous words and Name Entities that rarely or never met before. Despite the symbolic information the model introduced, NE-Reasoner can still be trained effectively in an end-to-end manner via parameter sharing strategy. NE-Reasoner can outperform conventional NER models in most cases on both English and Chinese NER datasets. For example, it achieves state-of-art on CoNLL-2003 English NER dataset.

연구 동기 및 목표

• 문서 내 실체 간 전반적 일관성을 유지하지 못하는 순서 분류 모델의 국소적 결정 제한을 해결한다.
• 신경망 모델이 전체 문서의 맥락을 통합하는 인간의 독서 행동을 모방하여 문장 간 여러 실체를 추론할 수 있도록 한다.
• 층간 실체 수준 정보를 저장하고 검색하기 위해 심벌릭 메모리(후보 풀)를 도입하여 추론 성능을 향상시킨다.
• 신경학습과 심벌릭 추론을 결합한 엔드 투 엔드 학습 가능한 프레임워크를 개발하여 희귀하거나 모호한 실체에 대한 일반화 성능을 향상시킨다.
• 문장 간 일관성을 통한 예측 정교화를 통해 영문 및 중문 NER 벤치마크에서 더 높은 성능을 달성한다.

제안 방법

• 각 층이 독립적으로 NER를 수행하는 다층 아키텍처를 사용하며, 결과는 공통 후보 풀로 전달된다.
• 이전 층에서 인식된 실체를 저장하는 심벌릭 메모리(후보 풀)를 사용하여 층 간 참조를 가능하게 한다.
• 유사도 스코어를 통해 국소적 단어 표현과 전반적 실체를 연결하는 상호작용-풀링 메커니즘을 구현한다.
• 국소적 예측과 후보 실체 간 유사도 스코어를 계산하는 추론 모듈을 도입하여 깊은 층에서의 결정을 정교화한다.
• 파라미터 공유를 적용하여 엔드 투 엔드 학습을 가능하게 하면서도 심벌릭 추론 기능을 유지한다.
• 깊이 있는 아키텍처를 활용하여 거시적에서 미시적 수준으로 점진적으로 실체 집합을 정교화한다.

실험 결과

연구 질문

• RQ1 다양한 문장 간 실체를 추론함으로써 신경망 모델이 NER에서 전반적 일관성을 효과적으로 유지할 수 있는가?
• RQ2 심벌릭 후보 풀을 통합함으로써 모호하거나 희귀한 명시적 실체의 인식 성능가 향상되는가?
• RQ3 다층 추론 메커니즘이 NER 작업에서 단일 패assing 순서 분류 모델보다 얼마나 뛰어난가?
• RQ4 제안된 추론 메커니즘이 자원이 부족하거나 OOV(Out-of-Vocabulary) 실체에서 성능 향상에 기여하는가?
• RQ5 이 프레임워크는 중국어 법적 텍스트와 같이 복잡한 실체 패턴을 가진 언어 및 도메인으로 일반화 가능한가?

주요 결과

• NE-Reasoner는 CoNLL-2003 영문 NER 데이터셋에서 최고 성능(F1 스코어)을 기록하여 뛰어난 전반적 일관성을 입증하였다.
• 중국어 법원 판결문 NER 데이터셋에서 정밀도를 유지하면서 재현율을 96.13%에서 97.26%로 향상시켜 간과된 실체 탐지 능력이 향상됨을 보여주었다.
• 이전에 식별된 실체에서 유추한 맥락을 활용하여 후속 층에서 희귀하거나 이전에 등장하지 않은 이름(예: '광'을 성으로 간주)을 성공적으로 인식하였다.
• 기존 실체와의 유사도 스코어 비교를 통해 잘못 분류된 사례(예: 'Salem Bitar'를 기관에서 개인으로 수정)를 정정하는 데 성공하였다.
• 제거 실험 결과, 추론 모듈이 성능 향상의 주요 원인임을 확인하였으며, 이름이나 유사도 스코어를 수동으로 변경해도 결과에 변화가 없었다.
• 특히 한 번만 등장하지만 기존 실체와 강한 맥락적 유사도를 가진 실체에 대해, 문장 간 맥락을 활용함으로써 거짓 음성 수를 감소시켰다.