[논문 리뷰] Deep Active Learning for Named Entity Recognition

Yanyao Shen, Hyokun Yun외 3명|arXiv (Cornell University)|2017. 07. 19.

Topic Modeling참고 문헌 43인용 수 43

한 줄 요약

이 논문은 경량화된 CNN-CNN-LSTM 아키텍처를 Named Entity Recognition (NER)에 적용하고, 점진적 주의적 학습을 결합하여 레이블이 부여된 데이터 요구량을 극도로 줄이는 방법을 제안한다. 불확실성 기반 샘플링과 점진적 재학습을 통해 OntoNotes-5.0 영어 데이터셋에서는 전체 학습 데이터의 24.9%만으로, 중국어 데이터셋에서는 30.1%만으로도 완전히 지도 학습 모델의 99% 성능을 달성하며, 데이터가 부족한 NER 환경에서 최신 기술 수준의 효율성을 입증한다.

ABSTRACT

Deep learning has yielded state-of-the-art performance on many natural language processing tasks including named entity recognition (NER). However, this typically requires large amounts of labeled data. In this work, we demonstrate that the amount of labeled training data can be drastically reduced when deep learning is combined with active learning. While active learning is sample-efficient, it can be computationally expensive since it requires iterative retraining. To speed this up, we introduce a lightweight architecture for NER, viz., the CNN-CNN-LSTM model consisting of convolutional character and word encoders and a long short term memory (LSTM) tag decoder. The model achieves nearly state-of-the-art performance on standard datasets for the task while being computationally much more efficient than best performing models. We carry out incremental active learning, during the training process, and are able to nearly match state-of-the-art performance with just 25\% of the original training data.

연구 동기 및 목표

• 대규모 레이블이 부여된 데이터셋에 대한 의존도를 줄임으로써 NER에서 높은 데이터 레이블링 비용 문제를 해결한다.
• 기존 주의적 학습 기법이 각 레이블링 라운드 후에 전체 재학습이 필요해 계산 비용이 높은 문제를 해결한다.
• 표준 NER 벤치마크에서 경쟁적인 성능을 유지하면서도 계산적으로 효율적인 경량 신경망 아키텍처를 개발한다.
• 점진적 학습과 함께 주의적 학습을 적용할 경우, 훨씬 적은 레이블이 부여된 데이터로도 완전히 지도 학습 모델의 성능을 따라잡거나 초월할 수 있음을 입증한다.
• 불확실성 기반 주의적 학습이 다양한 데이터셋인 OntoNotes에서 부족한 장르를 자동으로 식별하고 우선순위를 정할 수 있는지 조사한다.

제안 방법

• CNN-CNN-LSTM 아키텍처 제안: 글자 인코더로 콘볼루션 네트워크, 단어 인코더로 콘볼루션 네트워크, 태그 디코더로 LSTM을 사용하여 효율적인 학습과 OOV(Out-of-Vocabulary) 단어에 대한 강건성을 확보한다.
• 점진적 주의적 학습 구현: 각 라운드 후에 전체 재학습 대신 새로 레이블이 부여된 배치의 가중치만 갱신하여 계산 비용을 감소시킨다.
• 간단한 불확실성 기반 선택 히우리스틱 적용: 모델의 현재 예측에 대한 길이 정규화된 로그 확률이 가장 낮은 문장을 선택한다.
• 이러한 선택 전략을 반복적으로 적용하며, 학습 데이터의 1%에서 시작하여 각 라운드당 20,000단어씩 레이블이 부여된 데이터셋을 확장한다.
• 각 라운드에서 확장된 데이터셋을 50에포크 동안 확률적 경사 하강법으로 학습하고, 각 라운드 후 테스트 세트에서 성능을 평가한다.
• 제안된 방법을 무작위 샘플링, 불확실성 샘플링(LC), BALD, 및 서브모듈라 선택과 비교하며, 주요 평가 지표로 F1 점수를 사용한다.

실험 결과

연구 질문

• RQ1 경량 딥 러닝 아키텍처는 기존 모델보다 훨씬 더 빠르게 학습하면서도 경쟁적인 NER 성능을 달성할 수 있는가?
• RQ2 주의적 학습을 통해 NER에서 얼마나 많은 레이블이 부여된 데이터 요구량을 줄일 수 있으며, 성능 저하 없이 가능한가?
• RQ3 점진적 학습과 함께 불확실성 기반 주의적 학습이 무작위 샘플링 및 다른 주의적 학습 기반 모델에 비해 데이터 효율성 면에서 뛰어나게 되는가?
• RQ4 주의적 학습 알고리즘이 OntoNotes와 같은 다양한 데이터셋에서 부족한 장르를 자동으로 식별하고 우선순위를 정할 수 있는가?
• RQ5 레이블이 부여된 데이터의 양이 증가함에 따라 주의적 학습의 성능은 어떻게 변화하는가? 그리고 어느 지점에서 전체 데이터셋으로 학습된 얕은 모델의 성능을 초월하는가?

주요 결과

• CNN-CNN-LSTM 모델은 OntoNotes-5.0 영어 및 중국어 데이터셋에서 각각 F1 점수 86.52와 75.63를 기록하며, CRF 기반 모델 대비 3.5배 빠른 학습 속도를 확보한다.
• OntoNotes-5.0 영어 데이터셋에서 제안된 방법은 전체 학습 데이터의 24.9%만으로도 완전히 지도 학습 모델의 99% 성능에 도달한다.
• OntoNotes-5.0 중국어 데이터셋에서 제안된 방법은 원래 학습 데이터의 30.1%만으로도 최고 성능 모델의 99% 성능을 달성한다.
• 제안된 방법을 사용한 주의적 학습은 영어 데이터셋에서는 전체 학습 데이터의 12.0%만으로도, 중국어 데이터셋에서는 16.9%만으로도 전체 데이터셋으로 학습된 얕은 모델의 성능을 초월한다.
• 단 한 번의 순방향 전파만으로도 가능한 MNLP 불확실성 히우리스틱은 초기 라운드에서 BALD를 능가하며, 계산적으로도 더 효율적이면서도 유사한 성능을 기록한다.
• 새로운 뉴스 기사가 학습 데이터에 부족할 경우, 주의적 학습 알고리즘이 자동으로 부족한 장르인 라디오 뉴스 및 전화 통화 기록 등에서 더 많은 샘플을 추출함으로써 암묵적인 장르 인식 샘플링이 가능함을 보여준다.