[논문 리뷰] Computationally Efficient NER Taggers with Combined Embeddings and Constrained Decoding

Brian Lester, Daniel Pressel외 2명|arXiv (Cornell University)|2020. 01. 04.

Topic Modeling인용 수 4

한 줄 요약

이 논문은 복수의 미사전처리된 임베딩을 연결하여 조합하고, 교차 엔트로피로 훈련된 모델에 제약 조건이 있는 디코딩을 적용함으로써 계산 비용이 효율적인 NER 태거를 제안한다. 이는 문맥 기반 임베딩 기반 기준 모델 대비 786%의 속도 향상을 이룩하면서도 다양한 데이터셋과 작업에서 뛰어난 성능을 유지한다.

ABSTRACT

Current State-of-the-Art models in Named Entity Recognition (NER) are neural models with a Conditional Random Field (CRF) as the final network layer, and pre-trained "contextual embeddings". The CRF layer is used to facilitate global coherence between labels, and the contextual embeddings provide a better representation of words in context. However, both of these improvements come at a high computational cost. In this work, we explore two simple techniques that substantially improve NER performance over a strong baseline with negligible cost. First, we use multiple pre-trained embeddings as word representations via concatenation. Second, we constrain the tagger, trained using a cross-entropy loss, during decoding to eliminate illegal transitions. While training a tagger on CoNLL 2003 we find a $786$\\% speed-up over a contextual embeddings-based tagger without sacrificing strong performance. We also show that the concatenation technique works across multiple tasks and datasets. We analyze aspects of similarity and coverage between pre-trained embeddings and the dynamics of tag co-occurrence to explain why these techniques work. We provide an open source implementation of our tagger using these techniques in three popular deep learning frameworks --- TensorFlow, Pytorch, and DyNet.

연구 동기 및 목표

• 문맥 기반 임베딩과 CRF 레이어에 의존하는 최신 NER 모델의 계산 비용을 줄이기 위해.
• 훈련 복잡도를 증가시키지 않으면서도 단순하고 효율적인 기법을 통해 NER 성능을 향상시키기 위해.
• 다수의 사전 훈련된 임베딩을 조합함으로써 표현 품질과 일반화 능력이 향상되는지 탐색하기 위해.
• CRF 없이도 레이블 일관성을 확보할 수 있는 제약 조건이 있는 디코딩의 효과를 평가하기 위해.
• 광범위한 활용을 위해 공개된, 프레임워크에 종속되지 않은 구현을 제공하기 위해.

제안 방법

• 각 토큰의 입력 표현으로서 복수의 사전 훈련된 문맥 기반 임베딩(예: BERT, ELMo)을 연결하기.
• CRF 레이어 대신 교차 엔트로피 손실을 사용하여 시퀀스 태거를 훈련함으로써 계산 오버헤드를 줄이기.
• 불법 레이블 전이를 제거하고 글로벌 레이블 일관성을 보장하기 위해 디코딩 중 전이 제약 행렬을 적용하기.
• 제약 조건이 있는 전이를 사용한 동적 프로그래밍을 통해 예측를 효율적으로 디코딩하기.
• 성능와 속도를 평가하기 위해 CoNLL 2003 및 기타 데이터셋에서 모델을 평가하기.
• 재현성과 통합을 위해 텐서플로우, 파이토치, 디넷에서 오픈소스 구현 제공하기.

실험 결과

연구 질문

• RQ1 복수의 사전 훈련된 임베딩을 조합함으로써 계산 비용을 최소화하면서도 NER 성능을 향상시킬 수 있는가?
• RQ2 교차 엔트로피로 훈련된 태거에 대해 제약 조건이 있는 디코딩이 CRF 레이어의 레이블 일관성과 동일한 성능을 내는가?
• RQ3 복수의 임베딩 조합이 레이블 커버리지와 표현 유사성에 어떤 영향을 미치는가?
• RQ4 성능을 저하시키지 않으면서 얼마나 많은 속도 향상을 달성할 수 있는가?
• RQ5 제안된 방법이 다양한 NER 데이터셋과 작업에 대해 일반화되는가?

주요 결과

• 제안된 모델은 CoNLL 2003 데이터셋에서 CRF를 사용하는 문맥 기반 임베딩 태거 대비 786%의 속도 향상을 달성한다.
• 제안된 모델의 성능는 CoNLL 2003 및 기타 데이터셋에서 강력한 베이스라인, 특히 CRF 기반 모델과 비교해도 동등하거나 뛰어나다.
• 복수의 사전 훈련된 임베딩을 연결함으로써 다양한 NER 작업에서 표현 품질과 일반화 능력이 향상된다.
• 제약 조건이 있는 디코딩은 CRF 레이어가 필요 없이도 효과적으로 레이블 일관성을 강제하며 성능 손실 없이 작동한다.
• 이 방법은 여러 데이터셋과 작업에서 뛰어난 강건성과 이식 가능성을 보여준다.
• 텐서플로우, 파이토치, 디넷에서의 오픈소스 구현은 광범위한 활용과 통합을 가능하게 한다.