[논문 리뷰] LTP: A New Active Learning Strategy for Bert-CRF Based Named Entity Recognition

Mingyi Liu, Zhiying Tu외 2명|arXiv (Cornell University)|2020. 01. 08.

Topic Modeling참고 문헌 34인용 수 21

한 줄 요약

이 논문은 BERT-CRF 명명된 엔터티 인식을 위한 불확실성 기반 활성 학습 전략인 LTP(Lowest Token Probability)를 제안한다. 이 전략은 모델를 수정하지 않고도 CRF의 입력과 출력을 조합하여 정보성 있는 샘플을 선택한다. LTP는 짧은 시퀀스를 선호함으로써 애너테이션 비용을 줄이고, 기존 방법보다 더 적은 레이블이 부여된 토큰으로도 더 나은 성능을 달성한다.

ABSTRACT

In recent years, deep learning has achieved great success in many natural language processing tasks including named entity recognition. The shortcoming is that a large amount of manually-annotated data is usually required. Previous studies have demonstrated that active learning could elaborately reduce the cost of data annotation, but there is still plenty of room for improvement. In real applications we found existing uncertainty-based active learning strategies have two shortcomings. Firstly, these strategies prefer to choose long sequence explicitly or implicitly, which increase the annotation burden of annotators. Secondly, some strategies need to invade the model and modify to generate some additional information for sample selection, which will increase the workload of the developer and increase the training/prediction time of the model. In this paper, we first examine traditional active learning strategies in a specific case of BiLstm-CRF that has widely used in named entity recognition on several typical datasets. Then we propose an uncertainty-based active learning strategy called Lowest Token Probability (LTP) which combines the input and output of CRF to select informative instance. LTP is simple and powerful strategy that does not favor long sequences and does not need to invade the model. We test LTP on multiple datasets, and the experiments show that LTP performs slightly better than traditional strategies with obviously less annotation tokens on both sentence-level accuracy and entity-level F1-score. Related code have been release on this https URL

연구 동기 및 목표

• 기존의 불확실성 기반 활성 학습 전략이 명명된 엔터티 인식에서 가지는 한계를 해결하기 위해.
• 샘플 선택 시 긴 시퀀스를 선호하지 않음으로써 애너테이션 부담을 줄이기 위해.
• 모델 수정이나 추가 학습/예측 시간이 필요로 하지 않는 전략을 개발하기 위해.
• 최소한의 레이블이 부여된 데이터로 문장 수준 정확도와 엔터티 수준 F1 스코어에서 성능을 향상시키기 위해.
• 실제 자연어 처리 응용 프로그램에 쉽게 구현할 수 있는 경량이며 구현 가능한 솔루션을 제공하기 위해.

제안 방법

• LTP는 CRF 출력 시퀀스에서 어떤 토큰이든 가장 낮은 예측 확률을 가진 샘플을 선택한다.
• BERT의 입력 표현과 CRF의 방출 점수를 조합하여 토큰 수준의 불확실성을 계산한다.
• 모델 아키텍처의 변경이나 추가 추론 계산이 필요로 하지 않는다.
• 시퀀스 내 모든 토큰의 최소 확률을 기반으로 샘플을 선택하여 불확실하지만 간결한 인스턴스를 선호한다.
• LTP는 개별 토큰의 신뢰도에 초점을 맞추어 시퀀스 수준의 불확실성보다는, 긴 시퀀스에 대한 편향을 피한다.
• 모델를 수정하지 않고 구현되어 있어 기존의 BERT-CRF 파ip라인에 쉽게 통합할 수 있다.

실험 결과

연구 질문

• RQ1 LTP는 기존의 전통적인 불확실성 기반 활성 학습 전략에 비해 애너테이션 효율성이 어떻게 다른가?
• RQ2 LTP는 긴 시퀀스를 선호하지 않음으로써 애너테이션 부담을 줄일 수 있는가?
• RQ3 LTP는 기준 전략에 비해 더 적은 레이블이 부여된 토큰으로 더 나은 성능을 달성할 수 있는가?
• RQ4 LTP는 모델 수정 없이 모델 성능을 유지하거나 향상시킬 수 있는가?
• RQ5 LTP는 다양한 명명된 엔터티 인식 데이터셋에서 어떻게 성능을 발휘하는가?

주요 결과

• LTP는 문장 수준 정확도와 엔터티 수준 F1 스코어에서 모두 기존의 활성 학습 전략보다 略적으로 더 나은 성능을 달성한다.
• LTP는 애너테이션에 필요한 토큰 수를 크게 줄여 애너테이션 비용을 낮춘다.
• 이 전략은 긴 시퀀스를 선호하지 않아 인간 애너테이터의 부담을 줄인다.
• LTP는 모델 수정이나 추가 학습/예측 시간이 필요로 하지 않아 효율적이고 구현 가능하다.
• 다양한 데이터셋에서의 실험을 통해 LTP의 효과성과 다양한 NER 환경에서의 강건성을 확인할 수 있었다.
• 저자들은 LTP의 코드를 공개하여 재현 가능성과 실용적 적용을 가능하게 하였다.