[논문 리뷰] Improving Named Entity Recognition in Telephone Conversations via Effective Active Learning with Human in the Loop

Md Tahmid Rahman Laskar, Cheng Chen외 2명|arXiv (Cornell University)|2022. 11. 02.

Topic Modeling인용 수 5

한 줄 요약

이 논문은 인간이 참여하는 활동 학습 프레임워크를 제안하여, 노이즈가 많은 전화 통화 녹취록의 명명된 실체 인식(NER)을 위해 오류가 있는 레이블을 식별하고 재레이블링함으로써 전체 재레이블링이 필요한 양을 크게 줄인다. 훈련 데이터의 오직 6%만을 재레이블링함으로써, 조직(entity)에 대해 최대 25.27%의 F1 점수 향상과 전체 F1 점수 1.52%의 향상을 이룩하여, 자원이 제한된 생산 환경에서도 소형 모델을 사용해 고성능 NER를 달성할 수 있게 한다.

ABSTRACT

Telephone transcription data can be very noisy due to speech recognition errors, disfluencies, etc. Not only that annotating such data is very challenging for the annotators, but also such data may have lots of annotation errors even after the annotation job is completed, resulting in a very poor model performance. In this paper, we present an active learning framework that leverages human in the loop learning to identify data samples from the annotated dataset for re-annotation that are more likely to contain annotation errors. In this way, we largely reduce the need for data re-annotation for the whole dataset. We conduct extensive experiments with our proposed approach for Named Entity Recognition and observe that by re-annotating only about 6% training instances out of the whole dataset, the F1 score for a certain entity type can be significantly improved by about 25%.

연구 동기 및 목표

• 음성 인식 오류와 문장 부호 및 대문자 사용 부족으로 인해 정확한 레이블링이 어려운 노이즈가 많은 ASR 생성 전화 통화 녹취록의 문제를 해결하기 위해.
• 전체 데이터 재레이블링의 높은 비용과 노력을 줄이기 위해 오직 오류가 발생할 가능성이 높은 인스턴스들만 선별하여 재레이블링하는 데 목적이 있다.
• 실제 노이즈가 많은 대화 데이터에서 조직과 제품 실체를 구분하는 데 어려움을 겪는 NER 성능 향상을 위해.
• 자원이 제한된 생산 환경에서 효율적이고 소형 모델(예: DistilBERT)을 사용해도 고성능을 달성할 수 있도록 하는 것.

제안 방법

• 오류가 발생할 가능성이 높은 레이블링 오류를 가진 훈련 인스턴스를 선택하기 위해 활동 학습을 활용하며, 특히 모호하거나 높은 불확실성 예측을 보이는 인스턴스에 집중한다.
• 앙상블 예측 간의 불일치와 모델의 불확실성을 활용하여 인간이 재레이블링할 인스턴스를 우선순위에 따라 정렬한다.
• 인간 평가자가 선별된 데이터의 6%만을 재레이블링하며, 특히 노이즈가 많은 텍스트에서 서로 구분하기 어려운 조직 및 제품 실체에 초점을 맞춘다.
• 재레이블링된 데이터를 사용해 DistilBERT 모델을 미세조정함으로써, 노이즈가 많은 실제 대화 텍스트에서의 성능을 향상시킨다.
• 디스틸-스터디-파인튜닝(dtft) 전략을 적용한다: 대규모 LUKE 모델이 483,766개의 레이블이 없는 발화에 대해 의사 레이블을 생성하고, 이를 바탕으로 소형 DistilBERT 학생 모델을 미세조정한다.
• 최종 모델은 생산 환경에 배포되어 최소한의 컴퓨팅 자원으로도 높은 성능을 달성한다.

실험 결과

연구 질문

• RQ1 노이즈가 많은 ASR 생성 전화 통화 녹취록에서 활동 학습이 레이블링 오류 발생 가능성이 높은 인스턴스를 효과적으로 식별할 수 있는가?
• RQ2 훈련 데이터의 소수(예: 6%)만을 재레이블링하는 것이 조직 및 제품 실체에 대해 NER 성능을 얼마나 향상시킬 수 있는가?
• RQ3 제안된 인간이 참여하는 활동 학습 프레임워크는 전체 데이터 재레이블링 필요성을 줄이면서도 모델의 일반화 능력을 유지하거나 향상시키는가?
• RQ4 DistilBERT와 같은 소형 효율적 모델이 재레이블링된 데이터와 의사 레이블링을 통해 훈련되면 노이즈가 많은 대화 NER에서 고성능을 달성할 수 있는가?
• RQ5 디스틸-스터디-파인튜닝(dtft) 전략이 자원이 제한된 노이즈가 많은 대화 데이터에서 모델 성능 향상에 얼마나 효과적인가?

주요 결과

• 훈련 데이터의 오직 6%만을 재레이블링함으로써, 조직 실체 유형에 대해 F1 점수가 최대 25.27% 향상되었다.
• 모든 네 가지 실체 유형(Person, GPE 위치, 제품, 조직)에 대해 전체 F1 점수가 재레이블링 후 1.52% 향상되었다.
• 모든 실체 유형에서 정밀도, 재현도, F1 점수가 향상되었으며, 특히 조직 실체에서 가장 두드러진 성과를 보였다.
• 디스틸-스터디-파인튜닝(dtft) 전략이 성능 향상에 추가 기여하여, 소형 DistilBERT 모델을 생산 환경에 배포함으로써 높은 정확도를 달성할 수 있었다.
• 전체 데이터 재레이블링 필요성을 효과적으로 줄였고, 특히 새로운 실체와 노이즈가 많은 텍스트에서의 모델의 강건성도 크게 향상되었다.
• 이 프레임워크는 자원이 제한되고 노이즈가 많은 대화 환경에서 유사한 실체 유형(예: 제품 vs. 조직)을 효과적으로 구분하는 데 성공했다.