[논문 리뷰] NeuroNER: an easy-to-use program for named-entity recognition based on neural networks

Franck Dernoncourt, Ji-Young Lee외 1명|arXiv (Cornell University)|2017. 05. 15.

Topic Modeling인용 수 5

한 줄 요약

NeuroNER는 깊이 있는 신경망을 활용하여 NER 작업에서 최고 수준의 성능을 달성하는 접근성 있고 웹 통합된 명명된 엔터티 인식 도구이다. BRAT과의 통합을 통해 애너테이션-학습-예측 워크플로우를 단순화하여 비전문가가 최소한의 기술적 부담으로 데이터 애너테이션, 모델 학습, 예측 배포를 수행할 수 있도록 한다. CoNLL 2003에서 F1 점수 90.5%, i2b2 2014에서 F1 점수 97.7%를 기록했으며, 하이퍼파rameter 튜닝 없이도 성능을 달성하였다.

ABSTRACT

Named-entity recognition (NER) aims at identifying entities of interest in a text. Artificial neural networks (ANNs) have recently been shown to outperform existing NER systems. However, ANNs remain challenging to use for non-expert users. In this paper, we present NeuroNER, an easy-to-use named-entity recognition tool based on ANNs. Users can annotate entities using a graphical web-based user interface (BRAT): the annotations are then used to train an ANN, which in turn predict entities' locations and categories in new texts. NeuroNER makes this annotation-training-prediction flow smooth and accessible to anyone.

연구 동기 및 목표

• 최첨단 신경망 기반 NER 시스템은 일반적으로 비전문가 사용자에게 접근하기 어려운 점을 해결하기 위해.
• 명명된 엔터티 인식을 웹 기반 애너테이션 툴(BRAT)과 통합하여 애너테이션, 학습, 예측 워크플로우를 간소화하기 위해.
• 완전히 접근 가능하고 오픈소스인 솔루션을 제공하여, 모델을 새로 학습하거나 사전 학습된 모델을 사용하여 배포할 수 있도록 하기 위해.
• 사람의 레이블링과 신경망 예측 간의 상호작용 피드백 루프를 통해 애너테이션과 모델 성능을 반복적으로 향상시킬 수 있도록 하기 위해.
• 하이퍼파rameter 최적화 없이도 최고의 발표된 방법과 비교할 만한 경쟁력 있는 성능을 제공하기 위해.

제안 방법

• NeuroNER는 세 층으로 구성된 신경망 아키텍처를 사용한다: 문자 강화 토큰 임베딩 층, 레이블 예측 층, 레이블 시퀀스 최적화 층.
• 학습에는 TensorFlow를 활용하고, 훈련 중 손실, F1 점수, 혼동 행렬 등의 실시간 모니터링을 위해 TensorBoard와 통합한다.
• 입력 데이터는 BRAT 또는 CoNLL-2003 형식을 수용하며, 별도의 학습, 검증, 테스트, 배포 세트를 제공한다.
• 사용자가 제공한 애너테이션 데이터에 대한 피니터닝과 사전 학습된 모델 및 사전 학습된 단어 임베딩(word2vec 또는 GloVe)을 사용한 추론을 모두 지원한다.
• 인터페이스를 통해 예측 결과를 시각화하고, 애너테이션을 상호작용적으로 개선하며, 성능 향상을 위해 반복적으로 모델을 재학습할 수 있다.
• GPU 가속을 지원하며, 설치 스크립트를 통해 Linux, Mac OS X, Windows에서 배포할 수 있다.

실험 결과

연구 질문

• RQ1 사용자 친화적인 인터페이스를 통해 신경망 기반 NER 시스템을 비전문가 사용자에게 접근 가능하게 만들 수 있는가?
• RQ2 기본 하이퍼파rameter를 사용할 경우, 신경망 기반 NER 시스템의 성능이 최고 수준의 방법과 어떻게 비교되는가?
• RQ3 BRAT과의 통합이 NER 작업의 애너테이션 및 모델 학습 워크플로우에 얼마나 기여하는가?
• RQ4 사전 학습된 모델과 임베딩이 NER 응용 프로그램에서 레이블이 지정된 데이터와 학습 시간을 크게 줄일 수 있는가?
• RQ5 사람의 애너테이션과 신경망 모델 재학습 간의 상호작용 피드백 루프가 NER 정확도 향상에 얼마나 효과적인가?

주요 결과

• NeuroNER는 CoNLL 2003 테스트 세트에서 F1 점수 90.5%를 기록했으며, 최고의 발표된 결과인 90.9%에 매우 가까운 성능을 달성했다.
• i2b2 2014 데이터셋에서 NeuroNER는 F1 점수 97.7%를 기록했으며, 최고의 발표된 결과인 97.9%와 거의 유사한 성능을 보였다.
• 하이퍼파rameter 튜닝 없이도 경쟁력 있는 성능을 보이며, 출시 직후 강력한 성능을 보였다.
• TensorBoard를 통한 실시간 모니터링을 통해 사용자는 훈련 중 F1 점수 변화와 혼동 행렬을 추적할 수 있었다.
• BRAT과의 통합을 통해 애너테이션, 모델 재학습, 예측 시각화가 원활하게 이루어져 워크플로우의 번거로움을 크게 줄였다.
• 사전 학습된 모델과 임베딩이 제공되어, 레이블이 지정된 데이터나 장시간의 학습 없이도 NER 시스템을 배포할 수 있었다.