[논문 리뷰] Neural Reranking for Named Entity Recognition

Jie Yang, Yue Zhang외 1명|arXiv (Cornell University)|2017. 07. 17.

Topic Modeling인용 수 9

한 줄 요약

이 논문은 명시적 개체명 인식(NER)을 위한 신경망 재순서 모델을 제안하며, 엔티티 언급을 그들의 유형(예: PER, LOC)으로 대체한 '수축된' 시퀀스에서 LSTM와 CNN을 사용해 전반적인 문장 패턴을 학습함으로써 NER 성능을 향상시킨다. 이러한 패tern화된 시퀀스의 심층 신경 표현을 활용함으로써 F1 스코어가 크게 향상되어 CoNLL 2003 벤치마크에서 기록된 바 가장 높은 91.62%를 달성하였으며, 이는 이산적이고 신경 기반 기준 모델을 모두 능가한다.

ABSTRACT

We propose a neural reranking system for named entity recognition (NER). The basic idea is to leverage recurrent neural network models to learn sentence-level patterns that involve named entity mentions. In particular, given an output sentence produced by a baseline NER model, we replace all entity mentions, such as extit{Barack Obama}, into their entity types, such as extit{PER}. The resulting sentence patterns contain direct output information, yet is less sparse without specific named entities. For example, "PER was born in LOC" can be such a pattern. LSTM and CNN structures are utilised for learning deep representations of such sentences for reranking. Results show that our system can significantly improve the NER accuracies over two different baselines, giving the best reported results on a standard benchmark.

연구 동기 및 목표

• 표준 시퀀스 레이블링 모델이 포착하기 어려운 엔티티 유형을 포함한 전반적인 문장 패턴을 활용하여 명시적 개체명 인식(NER) 성능을 향상시키기 위해.
• 특정 명시적 개체명으로 인해 발생하는 후보 시퀀스의 희박성과 노이즈 문제를 해결하기 위해, 후보 시퀀스 내의 명시적 개체명을 일반화된 엔티티 유형 레이블로 대체하기 위해.
• RNN과 CNN을 사용해 수축된 문장 패턴의 심층 표현을 학습하는 신경망 재순서 프레임워크를 개발하여 후보 레이블 시퀀스의 점수를 향상시키기 위해.
• 기준 예측과 신경망 재순서를 조합하여 표준 NER 벤치마크에서 최고 성능을 달성하기 위해.
• 어휘 수준의 임베딩과 위치 정보를 포함한 보조 신경 특징을 활용하여 시퀀스 표현을 풍부하게 하기 위해.

제안 방법

• 기준 모델의 출력 시퀀스 내 예측된 명시적 개체명 언급을 해당 엔티티 유형 레이블(예: PER, ORG, LOC, MISC)로 대체하여 '수축된' 문장 패턴을 형성하기 위해.
• 양방향 LSTM을 사용해 수축된 문장 패턴 내의 엔티티 유형과 단어 시퀀스를 인코딩하여 장거리 의존성을 포착하기 위해.
• 기록된 표현에서 국소 n-그램 특징을 추출하기 위해 합성곱 신경망(CNNs)을 통합하여 패턴 구분 능력을 향상시키기 위해.
• 희귀하거나 OOV(표준어 외 단어) 엔티티의 경우에도 단어 표현 학습을 향상시키기 위해 문자 수준의 임베딩을 보조 특징으로 통합하기 위해.
• 기준 모델의 확률과 재순서 모델의 점수를 혼합 재순서 전략을 통해 조합하여 최종 예측의 신뢰도를 향상시키기 위해.
• 기준 NER 모델이 생성한 후보 시퀀스에서 엔드 투 엔드로 재순서 모델을 훈련시키며, 정확한 엔티티 유형과 경계 예측을 최적화하기 위해 교차 엔트로피 손실를 사용하기 위해.

실험 결과

연구 질문

• RQ1 엔티티 유형을 포함한 전반적인 문장 패턴을 학습하는 것이 국소 시퀀스 레이블링을 넘어서 NER 성능 향상에 기여하는가?
• RQ2 후보 시퀀스 내에서 명시적 개체명을 그들의 유형으로 대체함으로써 희박성과 일반화 능력 향상이 이루어지는가?
• RQ3 LSTM과 CNN 기반 신경망 재순서 모델이 기준 모델에 비해 더 타당한 문장 패턴을 효과적으로 학습하고 점수를 매길 수 있는가?
• RQ4 보조 신경 특징(예: 문자 수준의 임베딩)이 재순서 모델이 정확한 예측과 잘못된 예측을 구분하는 능력을 어느 정도 향상시키는가?
• RQ5 제안된 신경망 재순서 프레임워크가 CoNLL 2003와 같은 표준 NER 벤치마크에서 최고 성능을 달성하는가?

주요 결과

• 제안된 신경망 재순서 모델은 CoNLL 2003 테스트 세트에서 F1 스코어 91.62%를 기록하여 지금까지 보고된 바 가장 높은 성능이다.
• 강력한 이산 CRF 기준 모델(F1: 90.77%)과 최첨단 신경 기반 기준 모델(F1: 91.25%)에 비해 성능이 크게 향상되었다.
• 개발 세트에서의 정성적 예시를 통해 재순서 모델이 엔티티 경계 오류와 엔티티 유형 오류를 모두 성공적으로 수정하는 것으로 확인되었다.
• 엔티티를 그 유형으로 대체한 '수축된 문장 패턴'의 사용은 더 강력하고 일반화 가능한 문장 수준의 패턴을 학습하는 데 기여한다.
• CNN과 문자 수준 특징의 통합은 특히 긴 문장에서 후보 시퀀스 간 미세한 차이를 구분하는 능력을 모델이 향상시키는 데 기여한다.
• 기준 모델의 확률과 재순서 모델의 점수를 조합하는 혼합 재순서 전략은 기준 모델만을 사용하는 것보다 더 정확한 최종 예측을 이끌어낸다.