[논문 리뷰] Robust Named Entity Recognition in Idiosyncratic Domains

Sebastian Arnold, Felix A. Gers외 2명|arXiv (Cornell University)|2016. 08. 24.

Topic Modeling참고 문헌 28인용 수 7

한 줄 요약

이 논문은 글자 트리그램 인코딩과 표면 형식 특징을 갖춘 스택형 양방향 LSTM를 기반으로 한 강건하고 저자원(named entity recognition, NER) 모델인 DATEXIS-NER를 제안한다. 몇백 개의 레이블된 문장으로만 훈련되었음에도 불구하고, 외부 지식이 없이 뉴스 및 생물의학과 같은 다양한 도메인에서 84–94%의 F1 스코어를 달성하며, 단어 임베딩 기반 모델에 비해 더 작은 훈련 데이터를 사용하면서도 특수한 어휘, 철자 오류, 대문자 오류를 효과적으로 다루며, 표준 NLP 도구가 실패하는 비표준 또는 신규 언어를 다루는 데 성공한다.

ABSTRACT

Named entity recognition often fails in idiosyncratic domains. That causes a problem for depending tasks, such as entity linking and relation extraction. We propose a generic and robust approach for high-recall named entity recognition. Our approach is easy to train and offers strong generalization over diverse domain-specific language, such as news documents (e.g. Reuters) or biomedical text (e.g. Medline). Our approach is based on deep contextual sequence learning and utilizes stacked bidirectional LSTM networks. Our model is trained with only few hundred labeled sentences and does not rely on further external knowledge. We report from our results F1 scores in the range of 84-94% on standard datasets.

연구 동기 및 목표

• 생물의학 또는 뉴스 텍스트와 같이 표준 NLP 도구가 희박하거나 비표준, 또는 새로운 언어로 인해 실패하는 비표준 도메인에서 명명된 실체 인식(NER)의 낮은 재현율 문제를 해결한다.
• 사람이 레이블링한 데이터가 최소한이면서 외부 지식 기반 시스템, 규칙, 구문 분석에 의존하지 않는 일반화된 강건한 NER 시스템을 개발한다.
• 단어 벡터 모델을 방해하는 일반적인 NER 실패 원인인 철자 오류, 대문자 오류, 알려지지 않은 또는 새로운 단어를 극복한다.
• 엔티티 연결 및 관계 추출과 같은 후속 작업에서 실체를 놓치면 복구할 수 없기 때문에, 높은 재현율의 NER를 가능하게 한다.
• 최소한의 애너테이션 노력으로도 전문 도메인에 적응 가능한 시스템을 만들며, 기업 및 연구 응용 분야에서 개인화된 NER를 지원한다.

제안 방법

• 시퀀스 데이터의 문맥적 의존성을 모델링하기 위해 스택형 양방향 장기 단기 기억망(LSTM)을 사용하여 장거리 의존성과 문법적 구조를 포착한다.
• 단어 임베딩 대신 글자 트리그램(3자리 문자 부분 문자열)을 사용하여 단어를 인코딩함으로써 철자 오류, 대문자 오류, OOV(Out-of-Vocabulary) 단어에 대한 강건성을 향상시킨다.
• 대소문자 민감도(예: 대문자, 소문자, 문장 시작 대문자) 등의 표면 형식 특징을 통합하여 고유명사 탐지 능력을 향상시키고, 입력 텍스트에서 일관되지 않은 대문자 사용을 처리한다.
• 사전 훈련된 단어 벡터나 외부 지식 기반 시스템에 의존하지 않고, 원시 텍스트에서 몇백 개의 레이블된 문장으로만 끝에서 끝까지 훈련한다.
• 문자 수준의 임베딩 레이어를 사용하여 단어를 표현함으로써, 서브워드 패턴에서 학습함으로써 드문 또는 알려지지 않은 단어로의 일반화를 가능하게 한다.
• 문맥적 LSTM 표현과 트리그램 특징을 결합하여, 특히 형태학적으로 복잡하거나 도메인 특화된 용어에서 표현 학습을 향상시킨다.

실험 결과

연구 질문

• RQ1 딥 러닝 기반 NER 시스템이 몇백 개의 레이블된 훈련 예제만으로도 비표준 도메인에서 높은 재현율과 F1 스코어를 달성할 수 있는가?
• RQ2 글자 트리그램 인코딩은 단어 임베딩 기반 모델에 비해 철자 오류, 대문자 오류, OOV 단어를 다룰 때 어떤가?
• RQ3 외부 언어 자원 없이 양방향 LSTMs가 문맥적 관계(예: 'degradation of IkB alpha in T cell lines')와 대용어 관계를 얼마나 잘 포착할 수 있는가?
• RQ4 외부 지식 기반 시스템이나 도메인 특화 규칙 없이 훈련된 모델이 생물의학 및 뉴스 텍스트와 같은 다양한 도메인 간에 효과적으로 일반화되는가?
• RQ5 표면 형식 특징과 문자 수준의 인코딩은 실제 텍스트에서 일관되지 않은 대문자와 비표준 철자 오류의 영향을 어느 정도 완화할 수 있는가?

주요 결과

• CoNLL2003, KORE50, ACE2004, MSNBC 등의 표준 NER 데이터셋에서 F1 스코어가 84%에서 94% 사이로 나타나 도메인 간 강력한 일반화 능력을 입증한다.
• 글자 트리그램 인코딩은 'monoyctes', 'anti-CD15'와 같은 알려지지 않은 또는 철자 오류가 있는 단어에 대해 서브워드 패턴을 포착함으로써 단어 임베딩에서 발생하는 null 벡터의 영향을 줄여 강건한 성능을 가능하게 한다.
• 더 큰 코퍼스에서 훈련된 단어 임베딩 기반 모델에 비해, 특히 드문 또는 새로운 단어와 형태학적 변형을 다룰 때 더 뛰어난 성능을 보인다.
• 표면 형식 특징(예: 대소문자 플래그)은 특히 헤드라인이나 혼합 대문자 문서에서 입력 텍스트의 일관되지 않은 대문자 사용으로 인한 잘못된 양성 결과를 크게 감소시킨다.
• 양방향 LSTMs는 'degradation of IkB alpha in T cell lines'와 같은 문맥적으로 복잡하거나 모호한 단어 조합에서도 문맥적 관계를 효과적으로 모델링하여 경계 탐지 능력을 향상시킨다.
• 표준 NER 도구가 도메인 특화 용어와 비표준 문법으로 인해 실패하는 경우가 많은 생물의학 분야의 GENIA 생물의학 코퍼스와 같은 매우 전문화된 도메인에서도 높은 재현율을 유지한다.