[논문 리뷰] Self-Attention Gazetteer Embeddings for Named-Entity Recognition

Stanislav Peshterliev, Christophe Dupuy외 1명|arXiv (Cornell University)|2020. 04. 08.

Topic Modeling참고 문헌 27인용 수 4

한 줄 요약

이 논문은 자기주의 어휘(자기주도 어휘)를 사용하고 일치 스파닝 인코딩을 적용하여 명명된 엔티티 인식(NER) 성능을 향상시키는 새로운 어휘 임베딩 방법인 GazSelfAttn을 제안한다. Bi-LSTM 및 CRF 모델과 이들을 통합하고 Wikidata를 활용하여 고품질의 엔티티 목록을 확보함으로써, CoNLL-03에서 F1 점수가 92.34→92.86로 0.52 향상되고 Ontonotes 5에서 89.11→89.32로 0.21 향상되어 HSCRF와 같은 복잡한 아키텍처가 필요 없이 최신 기술 수준의 성능을 달성한다.

ABSTRACT

Recent attempts to ingest external knowledge into neural models for named-entity recognition (NER) have exhibited mixed results. In this work, we present GazSelfAttn, a novel gazetteer embedding approach that uses self-attention and match span encoding to build enhanced gazetteer embeddings. In addition, we demonstrate how to build gazetteer resources from the open source Wikidata knowledge base. Evaluations on CoNLL-03 and Ontonotes 5 datasets, show F1 improvements over baseline model from 92.34 to 92.86 and 89.11 to 89.32 respectively, achieving performance comparable to large state-of-the-art models.

연구 동기 및 목표

• 자기주의 어휘와 일치 스파닝 인코딩을 통해 어휘 임베딩을 향상시켜 명명된 엔티티 인식(NER) 성능을 향상시키는 것.
• 인기도 기반 필터링을 통해 모호성을 줄이고 Wikidata를 활용하여 고품질 어휘를 구축하는 확장 가능한 방법을 개발하는 것.
• 대규모 언어 모델(예: ELMo)이 이미 사용되고 있는 상황에서도 향상된 어휘 임베딩이 NER 성능 향상에 기여할 수 있음을 보여주는 것.
• HSCRF와 같은 복잡한 아키텍처를 피하고 표준 시퀀스 모델(예: Bi-LSTM-CRF)과 함께 어휘 임베딩을 엔드 투 엔드로 훈련할 수 있도록 하는 것.
• 어휘 임베딩 모듈의 각 구성 요소가 기여하는 바를 분석하기 위해 추론 실험을 수행하는 것.

제안 방법

• 다중 어휘 일치에 대해 자기주의 어휘 메커니즘을 사용하여 어휘 임베딩을 생성하며, 단일 토큰 및 다중 토큰 스팬을 모두 통합한다.
• 입력 시퀀스 내 각 일치 엔티티의 위치와 유형을 표현하기 위해 일치 스파닝 인코딩을 적용한다.
• 최종 어휘 임베딩은 자기주의 표현에 대해 학습된 변환을 통해 계산되며, 출력 차원은 128차원이다.
• 어휘는 Wikidata의 instance_of 관계를 사용하여 추출되며, 사이트링크 수 기반으로 필터링되어 인기 있는 엔티티를 우선시한다.
• 임베딩은 Bi-LSTM 입력과 연결되어 Adam 옵timizer와 조기 정지 기법을 사용하여 CRF 레이어와 함께 공동으로 훈련된다.
• 추론 실험에서는 자기주의 어휘, 스파닝 인코딩, 또는 단일 토큰 일치를 제거하여 각 구성 요소의 기여도를 평가한다.

실험 결과

연구 질문

• RQ1 자기주의 어휘와 일치 스파닝 인코딩은 기존의 one-hot 또는 단순 임베딩 방법을 초월하여 어휘 임베딩의 품질을 향상시킬 수 있는가?
• RQ2 단일 토큰 및 다중 토큰 일치를 통합된 표현으로 조합할 경우 NER 성능에 어떤 영향을 미치는가?
• RQ3 특히 인기도 기반 필터링을 적용한 Wikidata 기반 어휘는 NER의 정확성과 견고성 향상에 어느 정도 영향을 미치는가?
• RQ4 제안된 GazSelfAttn 방법은 HSCRF나 복잡한 분류기 헤드가 필요 없이 최신 기술 수준의 모델과 경쟁 가능한 성능을 달성할 수 있는가?
• RQ5 GazSelfAttn 아키텍처의 구성 요소들(예: 자기주의 어휘, 스파닝 인코딩) 중 어느 것이 성능 향상에 가장 기여하는가?

주요 결과

• ELMo 임베딩과 함께 사용할 경우, GazSelfAttn은 CoNLL-03에서 F1 점수를 92.34에서 92.86으로 0.52 향상시켰다.
• Ontonotes 5에서는 F1 점수가 89.11에서 89.32로 0.21 향상되어 다양한 데이터셋에서 일관된 성능 향상을 보였다.
• 추론 실험 결과, 단일 토큰 일치를 제거할 경우 성능 저하가 가장 심했으며, 이는 이 요소가 모델에서 핵심적인 역할을 한다는 것을 시사한다.
• 자기주의 어휘 기능은 성능 향상에 크게 기여하며, 그 기능을 제거하면 CoNLL-03에서 F1 점수가 0.21 감소하고 Ontonotes 5에서는 0.12 감소한다.
• 스파닝 인코딩은 CoNLL-03에서 Ontonotes 5보다 더 큰 영향을 미치며, 이는 CoNLL-03에서 다중 토큰 엔티티 비율이 더 높기 때문일 것이다.
• 모델는 Flair나 클로즈-프리트레인된 언어 모델을 사용하는 훨씬 더 큰 최신 기술 수준의 모델들과 비교해도 유사한 성능을 달성했으며, HSCRF와 같은 복잡한 아키텍처 구성 요소를 요구하지 않았다.