[논문 리뷰] Hierarchical Contextualized Representation for Named Entity Recognition

Ying Luo, Fengshun Xiao외 1명|arXiv (Cornell University)|2019. 11. 06.

Topic Modeling참고 문헌 39인용 수 13

한 줄 요약

이 논문은 이름 있는 실체 인식(NER)을 위한 계층적 컨텍스트 기반 표현 모델을 제안하며, 문장 수준 및 문서 수준의 표현을 통합하여 BiLSTM 기반 시스템의 성능을 향상시킨다. 문장 수준의 표현을 위해 레이블 임베딩 어텐션을 사용하여 문장 내 단어 기여도를 가중치화하고, 훈련 인스턴스로부터 문서 인식 표현을 검색하기 위해 키-밸류 메모리 네트워크를 활용하여 CoNLL-2003(비BERT 기준 91.96), OntoNotes 5.0(87.98), CoNLL-2002(87.08)에서 최신 기준(F1) 성능을 달성한다.

ABSTRACT

Named entity recognition (NER) models are typically based on the architecture of Bi-directional LSTM (BiLSTM). The constraints of sequential nature and the modeling of single input prevent the full utilization of global information from larger scope, not only in the entire sentence, but also in the entire document (dataset). In this paper, we address these two deficiencies and propose a model augmented with hierarchical contextualized representation: sentence-level representation and document-level representation. In sentence-level, we take different contributions of words in a single sentence into consideration to enhance the sentence representation learned from an independent BiLSTM via label embedding attention mechanism. In document-level, the key-value memory network is adopted to record the document-aware information for each unique word which is sensitive to similarity of context information. Our two-level hierarchical contextualized representations are fused with each input token embedding and corresponding hidden state of BiLSTM, respectively. The experimental results on three benchmark NER datasets (CoNLL-2003 and Ontonotes 5.0 English datasets, CoNLL-2002 Spanish dataset) show that we establish new state-of-the-art results.

연구 동기 및 목표

• NER에서 BiLSTM이 전반적인 문장 및 문서 수준의 컨텍스트를 포착하는 데 한계를 보이는 문제를 해결한다.
• 컨텍스트 기반 표현을 활용하여 어휘 내, 어휘 외, 희귀 실체 인식 성능을 향상시킨다.
• 메모리 네트워크를 통해 훈련 인스턴스 정보를 직접 추론 과정에 통합함으로써 모델의 일반화 능력을 향상시킨다.
• 레이블 전용 임베딩에 기반한 문장 내 단어 중요도 가중치를 계산하는 방법을 개발하여 문장 수준 표현을 향상시킨다.
• 사전 학습된 언어 모델에 의존하지 않고도 데이터셋 전체의 컨텍스트를 활용할 수 있도록 한다.

제안 방법

• 단어 임베딩과 학습된 레이블 임베딩 간의 유사도를 계산하여 신뢰도 점수를 할당하고, 문장 수준 표현에서 단어 기여도를 가중치화하는 레이블 임베딩 어텐션 메커니즘을 도입한다.
• 훈련 인스턴스로부터 문서 수준 표현을 저장하고 검색하는 키-밸류 메모리 네트워크를 구축하며, 호환성 함수로 코사인 유사도를 사용한다.
• CRF 디코딩 이전에 문장 수준 표현을 입력 토큰 임베딩과 융합하고, 문서 수준 표현을 BiLSTM 히든 상태와 융합한다.
• 다양한 문장 수준 표현 방법의 효과를 비교하기 위해 평균 ���킹 및 어텐션 기반 토큰 페어링 전략을 구현한다.
• 각 고유 단어당 최대 T개의 인스턴스를 선택하는 동적 메모리 쿼리 메커니즘을 구현하여 빈도가 높은 단어의 경우 커버리지와 노이즈 간의 균형을 맞춘다.
• 모델 아키텍처(인트넷, CRF, 시퀀스 레이블링 레이어)를 일관되게 유지하여 기준 모델과의 공정한 비교를 보장한다.

실험 결과

연구 질문

• RQ1 레이블 의미에 대한 정렬 정도에 따라 단어 기여도를 가중치화하는 문장 수준의 컨텍스트 기반 표현을 통합함으로써 NER 성능 향상이 가능한가?
• RQ2 훈련 인스턴스로부터 파생된 문서 수준 표현이, 특히 희귀 또는 어휘 외 실체 인식에 있어 추론 성능 향상에 기여하는가?
• RQ3 문장 수준 및 문서 수준 표현을 모두 통합함으로써 기준 BiLSTM-CRF 모델 대비 전반적인 NER 성능에 어떤 영향을 미치는가?
• RQ4 메모리 네트워크에서 관련 문서 수준 표현을 검색하기 위한 최적의 호환성 함수(예: 코사인, 내적, 스케일드 내적)는 무엇인가?
• RQ5 메모리 서브셋 크기(T)가 모델 성능 및 추론 효율성에 어떤 영향을 미치는가?

주요 결과

• 제안된 모델은 외부 지식 없이 CoNLL-2003 데이터셋에서 91.96의 새로운 최신 기준 F1 스코어를 달성하여 이전 최신 기준 방법을 초월한다.
• OntoNotes 5.0에서 외부 지식 없이 F1 스코어 87.98을 기록하여 다양한 도메인에 걸쳐 강력한 일반화 능력을 입증한다.
• CoNLL-2002에서 F1 스코어 87.08을 달성하여 다국어 및 저자원 NER 환경에서도 효과적임을 확인한다.
• 레이블 임베딩 어텐션 메커니즘은 평균 페어링 대비 F1 스코어를 0.25 포인트 향상시키며, 코사인 유사도가 내적 및 스케일드 내적보다 우수한 성능을 보인다.
• 어휘 내 실체(IV)의 경우 F1 스코어가 0.39 포인트 향상되었고, 훈련 어휘 외(OOTV)는 0.44, 양방향 어휘 외(OOBV)는 0.43 포인트 향상되어 어휘 외 문제에 대한 강력한 내성적 저항력을 보여준다.
• 추가 메모리와 계산을 통합함에도 불구하고 기준 모델 대비 학습 시간이 오직 19% 증가하여, 메모리 크기 T에 대한 효율적인 확장성을 입증한다.