[논문 리뷰] Boosting Named Entity Recognition with Neural Character Embeddings

Cícero Nogueira dos Santos, Victor Guimarães|arXiv (Cornell University)|2015. 05. 19.

Topic Modeling인용 수 7

한 줄 요약

이 논문은 순차적 분류를 위한 단어 수준 및 문자 수준 임베딩을 동시에 학습하는 딥 네ural 네트워크인 CharWNN를 사용하여 언어에 종속되지 않는 명명된 엔티티 인식(NER) 시스템을 제안한다. 수작업 특징을 사용하지 않고도 HAREM I(포르투갈어) 코퍼스에서 77.93의 F1 스코어와 SPA CoNLL-2002(스페인어) 코퍼스에서 82.21의 F1 스코어를 기록하여, 총계 및 선택적 시나리오에서 각각 7.9점과 7.2점 이상 앞서는 최신 기술 수준의 성능을 달성한다.

ABSTRACT

Most state-of-the-art named entity recognition (NER) systems rely on handcrafted features and on the output of other NLP tasks such as part-of-speech (POS) tagging and text chunking. In this work we propose a language-independent NER system that uses automatically learned features only. Our approach is based on the CharWNN deep neural network, which uses word-level and character-level representations (embeddings) to perform sequential classification. We perform an extensive number of experiments using two annotated corpora in two different languages: HAREM I corpus, which contains texts in Portuguese; and the SPA CoNLL-2002 corpus, which contains texts in Spanish. Our experimental results shade light on the contribution of neural character embeddings for NER. Moreover, we demonstrate that the same neural network which has been successfully applied to POS tagging can also achieve state-of-the-art results for language-independet NER, using the same hyperparameters, and without any handcrafted features. For the HAREM I corpus, CharWNN outperforms the state-of-the-art system by 7.9 points in the F1-score for the total scenario (ten NE classes), and by 7.2 points in the F1 for the selective scenario (five NE classes).

연구 동기 및 목표

• 수동으로 설정된 특징에 의존하지 않고 자동으로 학습된 특징만을 사용하는 언어에 종속되지 않는 NER 시스템을 개발하는 것.
• 신경 기반 문자 임베딩이 NER 성능에 기여하는 정도를 조사하는 것.
• 이미 품사 태깅에 사용된 바 있는 단일 딥 네럴 네트워크 아키텍처가 동일한 초모수를 사용하여 최신 기술 수준의 NER 성능을 달성할 수 있는지 평가하는 것.
• 비지도 사전 훈련된 단어 임베딩이 저자원 및 고자원 코퍼스 전반에서 NER 성능에 미치는 영향을 평가하는 것.
• 포르투갈어(HAREM I)와 스페인어(CoNLL-2002) 두 가지 서로 다른 언어에서의 성능 비교를 통해 모델의 일반화 능력을 검증하는 것.

제안 방법

• CharWNN 모델은 목표 단어를 중심으로 하는 고정된 단어 윈도우를 처리하여 순차적 분류를 수행하는 딥 네럴 네트워크를 사용한다.
• 단어 수준 임베딩은 룩업 테이블을 통해 학습되며 문법적 및 의미적 정보를 포착하고, 문자 수준 임베딩은 문자 시퀀스를 대상으로 컨볼루션 레이어를 적용하여 추출된다.
• 문자 수준 표현은 문자 임베딩에 컨볼루션 레이어를 적용한 후, 최대 풀링 연산을 통해 단어 길이에 관계없이 고정된 크기의 벡터를 생성한다.
• 네트워크의 최종 입력은 단어 수준 및 문자 수준 임베딩의 연결을 통해 각 단어에 대한 복합 표현을 형성한다.
• 모델은 가장 가능성 높은 명명된 엔티티 태그 시퀀스를 디코딩하기 위해 비터비 알고리즘을 사용하는 구조적 예측 접근법을 채택한다.
• 일반화 성능 향상을 위해, 특히 저자원 환경에서의 성능 향상을 위해 대규모의 비라벨 텍스트를 사용하여 단어 임베딩의 비지도 사전 훈련을 적용한다.

실험 결과

연구 질문

• RQ1 단어 수준 임베딩만을 사용하는 것과 비교해 신경 기반 문자 임베딩이 NER 성능에 얼마나 기여하는가?
• RQ2 품사 태깅에 대해 훈련된 단일 딥 네럴 네트워크 아키텍처가 수작업 특징 없이 최신 기술 수준의 NER 성능을 효과적으로 달성할 수 있는가?
• RQ3 비지도 사전 훈련된 단어 임베딩이 NER 성능에 미치는 영향은 무엇이며, 특히 HAREM I 코퍼스와 같은 저자원 환경에서 어떻게 작용하는가?
• RQ4 제안된 모델은 포르투갈어와 스페인어 코퍼스를 통해 일반화 능력이 입증된 바 있는가?
• RQ5 특히 조직명과 같이 드문 또는 복잡한 명명된 엔티티의 경우, 문자 수준 표현이 재현율 향상에 기여하는 정도는 어떠한가?

주요 결과

• 선택적 시나리오에서 CharWNN는 HAREM I 코퍼스(포르투갈어)에서 77.93의 최신 기술 수준 F1 스코어를 기록하여 이전 최신 기술 수준 시스템보다 7.2점 높은 성능을 달성했다.
• 총계 시나리오(10개의 NE 클래스)에서 CharWNN는 HAREM I에서 F1 스코어 71.41을 기록하여 이전 최신 기술 수준 시스템보다 7.9점 높은 성능을 달성했다.
• SPA CoNLL-2002 코퍼스(스페인어)에서 CharWNN는 82.21의 F1 스코어를 기록하여 수작업 특징 없이 보고된 바 가장 높은 결과이다.
• 비지도 사전 훈련의 영향은 HAREM I 코퍼스에서 F1 스코어 13.2점 향상으로 나타났고, SPA CoNLL-2002 코퍼스에서는 4.3점 향상으로 나타나, HAREM I의 훈련 데이터 크기가 더 작기 때문일 것이다.
• HAREM I에서 ORG 클래스에 대해 ETL CMT 시스템 대비 21점의 재현율 향상을 기록하여 드문 또는 복잡한 엔티티에 대한 강력한 일반화 능력을 보였다.
• 모델은 강건성과 이식 가능성을 입증하여 동일한 초모수와 수작업 특징 없이 포르투갈어 및 스페인어 NER에서 모두 최신 기술 수준의 성능을 달성했다.