[논문 리뷰] A Survey on Deep Learning for Named Entity Recognition

Jing Li, Aixin Sun외 2명|arXiv (Cornell University)|2018. 12. 22.

Topic Modeling참고 문헌 194인용 수 100

한 줄 요약

본 논문은 NER에 대한 딥 러닝 기법을 조사하고, 입력 표현, 컨텍스트 인코더, 태그 디코더로 접근법을 조직하며, 데이터셋, 도구, 평가, 도전과제 및 향후 방향에 대해 논의한다.

ABSTRACT

Named entity recognition (NER) is the task to identify mentions of rigid designators from text belonging to predefined semantic types such as person, location, organization etc. NER always serves as the foundation for many natural language applications such as question answering, text summarization, and machine translation. Early NER systems got a huge success in achieving good performance with the cost of human engineering in designing domain-specific features and rules. In recent years, deep learning, empowered by continuous real-valued vector representations and semantic composition through nonlinear processing, has been employed in NER systems, yielding stat-of-the-art performance. In this paper, we provide a comprehensive review on existing deep learning techniques for NER. We first introduce NER resources, including tagged NER corpora and off-the-shelf NER tools. Then, we systematically categorize existing works based on a taxonomy along three axes: distributed representations for input, context encoder, and tag decoder. Next, we survey the most representative methods for recent applied techniques of deep learning in new NER problem settings and applications. Finally, we present readers with the challenges faced by NER systems and outline future directions in this area.

연구 동기 및 목표

• NER의 동기와 정의 및 NLP 애플리케이션에서의 중요성을 제시한다.
• 가용한 영어 NER 데이터셋과 일반적으로 이용 가능한 도구를 요약한다.
• 입력 표현, 컨텍스트 인코더, 태그 디코더에 따른 DL 기반 NER의 분류 체계를 제안한다.
• 대표적인 딥 러닝 기법들과 다양한 NER 환경에의 적용 가능성을 조사한다.
• 딥 러닝 기반 NER의 도전과제에 대해 논의하고 향후 연구 방향을 제시한다.

제안 방법

• DL 기반 NER를 위한 세 축 분류 체계: 분산 입력 표현, 컨텍스트 인코더(CNN/RNN), 태그 디코더를 도입한다.
• NER 모델에 사용되는 단어 수준, 문자 수준, 하이브리드 표현을 검토한다.
• 컨텍스트 인코더 아키텍처(예: CNN, RNN, LSTM, BiLSTM)와 태그 디코딩과의 상호 작용을 논의한다.
• 데이터셋 자원(예: CoNLL03, OntoNotes)과 널리 사용되는 NER 도구(학계 및 산업계)를 요약한다.
• 정확 매치와 완화 매치 등 평가 지표와 전통적 평가 방식 및 그 트레이드오프를 설명한다.

실험 결과

연구 질문

• RQ1 NER에 사용되는 지배적인 딥 러닝 아키텍처와 표현은 무엇이며, 그것들이 성능에 어떤 영향을 미치는가?
• RQ2 영어 NER 연구 및 벤치마킹에 가장 영향력 있는 자원(데이터셋과 도구)은 무엇인가?
• RQ3 NER 시스템을 어떻게 평가해야 하며, 다양한 평가 체계의 강점과 약점은 무엇인가?
• RQ4 실무 및 연구에서 DL 기반 NER의 주요 도전 과제와 열린 방향은 무엇인가?

주요 결과

• 자동 표현 학습 및 엔드-투-엔드 학습으로 인해 딥 러닝이 NER에서 지배적이 되었다.
• 단어 수준, 문자 수준 및 하이브리드( gazetteers 및 맥락화 임베딩 포함) 표현은 DL 기반 NER의 핵심이다.
• 컨텍스트 인코더(CNNs, RNNs, LSTMs, transformers)와 태그 디코더가 NER 성능을 함께 결정하며, 맥락 모델링이 결정적이다.
• 영어 NER 데이터셋의 다양성과 오프더스헬 도구가 이용 가능하며, 신문 기사, 웹, 생물의학, 사용자 생성 텍스트에 걸쳐 있다.
• 평가 프레임워크에는 정확 매치(경계 및 유형)와 완화 매치 체계가 포함되며, 해석 가능성과 비교 가능성 측면에서 트레이드오프가 있다.