[논문 리뷰] End-to-end Sequence Labeling via Bi-directional LSTM-CNNs-CRF

Xuezhe Ma, Eduard Hovy|arXiv (Cornell University)|2016. 03. 04.

Topic Modeling참고 문헌 47인용 수 211

한 줄 요약

엔드-투-엔드 신경망 아키텍처를 제안하여 문자 수준 CNN, 단어 수준 Bi-LSTM, 그리고 CRF 디코더를 결합해 POS 태깅과 NER를 수행하고 핸드크래프트 피처 없이도 최첨단 결과를 달성합니다.

ABSTRACT

State-of-the-art sequence labeling systems traditionally require large amounts of task-specific knowledge in the form of hand-crafted features and data pre-processing. In this paper, we introduce a novel neutral network architecture that benefits from both word- and character-level representations automatically, by using combination of bidirectional LSTM, CNN and CRF. Our system is truly end-to-end, requiring no feature engineering or data pre-processing, thus making it applicable to a wide range of sequence labeling tasks. We evaluate our system on two data sets for two sequence labeling tasks --- Penn Treebank WSJ corpus for part-of-speech (POS) tagging and CoNLL 2003 corpus for named entity recognition (NER). We obtain state-of-the-art performance on both the two data --- 97.55\% accuracy for POS tagging and 91.21\% F1 for NER.

연구 동기 및 목표

• 시퀀스 라벨링에서 작업별 피처 엔지니어링의 필요성을 축소하는 것을 동기화한다.
• 문자- 및 단어 수준 표현을 통합하는 엔드-투-엔드 신경망 아키텍처를 개발한다.
• CRF 계층과의 조인트 디코딩이 POS 태깅과 NER에 걸쳐 효과적임을 보여준다.
• 표준 벤치마크(P TB WSJ for POS, CoNLL-2003 for NER)에 대해 평가하고 이전의 최첨단과 비교한다.

제안 방법

• 문자 수준의 워드 표현을 추출하기 위해 CNN을 사용한다.
• 문자 수준 표현을 워드 임베딩과 연결하여 Bi-directional LSTM의 입력으로 사용한다.
• BLSTM 위에 CRF 계층을 쌓아 조인트 시퀀스 디코딩을 수행한다.
• 사전 학습된 워드 임베딩 외의 핸드-크래프트 피처나 데이터 전처리 없이 엔드-투-엔드로 학습한다.
• 정규화를 위한 드롭아웃을 적용한다.

실험 결과

연구 질문

• RQ1 핸드-크래프트 피처 없이도 엔드-투-엔드 신경망 모델이 POS 태깅 및 NER에서 최첨단 성능을 달성할 수 있는가?
• RQ2 문자 수준 CNN을 BLSTM 및 CRF 디코더와 통합하는 것이 기초 모델 대비 시퀀스 라벨링 정확도를 향상시키는가?
• RQ3 다양한 사전 학습된 워드 임베딩과 함께 모델의 성능은 어떻게 달라지는가?
• RQ4 드롭아웃과 학습 세부사항이 모델 성능에 미치는 영향은 무엇인가?

주요 결과

모델	POS Dev Acc	POS Test Acc	NER Dev Prec	NER Dev Recall	NER Dev F1	NER Test Prec	NER Test Recall	NER Test F1
BRNN	96.56	96.76	92.04	89.13	90.56	87.05	83.88	85.44
BLSTM	96.88	96.93	92.31	90.85	91.57	87.77	86.23	87.00
BLSTM-CNN	97.34	97.33	92.52	93.64	93.07	88.53	90.21	89.36
BRNN-CNN-CRF	97.46	97.55	94.85	94.63	94.74	91.35	91.06	91.21

• WSJ PTB 테스트 세트에서 POS 태깅 최첨단 정확도 달성(97.55%).
• CoNLL-2003 테스트 세트에서 NER F1 최첨단 달성(91.21%).
• BLSTM-CNN이 BLSTM보다 우수하며 문자 수준 정보가 이점이 있음을 보여준다.
• CRF 계층 디코딩이 독립 토큰 예측보다 유의한 이득을 준다.
• 엔드-투-엔드 모델은 서로 다른 사전 학습 임베딩에서도 좋은 성능을 보이며, GloVe 100D가 종종 최상이다.
• 드롭아웃이 두 작업 모두의 성능을 크게 향상시킨다.