[논문 리뷰] An Effective, Performant Named Entity Recognition System for Noisy Business Telephone Conversation Transcripts

Xue-Yong Fu, Cheng Chen외 3명|arXiv (Cornell University)|2022. 09. 27.

Topic Modeling인용 수 5

한 줄 요약

이 논문은 더 작은 DistilBERT 학생 모델에 지식을 흡수시키기 위해 미세튜닝된 LUKE 모델을 교사로 활용하여 가짜 레이블을 생성하는 '디스틸-그런 후 미세튜닝' 방법을 제안한다. 결과적으로 학생 모델은 교사 모델의 F1 점수의 99.09% (85.29% 대 86.07%)를 달성하면서도 75배 빠른 속도(40ms 추론 시간)를 기록하여, 인간 레이블 데이터가 극히 적은 노이즈가 많은 기업 전화 통화 녹취록에서 실시간으로 CPU 기반으로 구동 가능한 성능을 달성한다.

ABSTRACT

We present a simple yet effective method to train a named entity recognition (NER) model that operates on business telephone conversation transcripts that contain noise due to the nature of spoken conversation and artifacts of automatic speech recognition. We first fine-tune LUKE, a state-of-the-art Named Entity Recognition (NER) model, on a limited amount of transcripts, then use it as the teacher model to teach a smaller DistilBERT-based student model using a large amount of weakly labeled data and a small amount of human-annotated data. The model achieves high accuracy while also satisfying the practical constraints for inclusion in a commercial telephony product: realtime performance when deployed on cost-effective CPUs rather than GPUs.

연구 동기 및 목표

• 노이즈가 많고 ASR로 생성된 기업 전화 통화 녹취록에서 효과적으로 작동하는 명명된 실체 인식(NER) 시스템을 개발하기 위해.
• 노이즈가 많고 말로 된 언어의 녹취록에서 NER 모델을 훈련하기 위한 인간 레이블 데이터가 제한적인 문제를 해결하기 위해.
• 특히 GPU가 아닌 CPU에서 작동하는 환경에서 저자원으로 실시간 추론을 가능하게 하기 위해.
• 대규모 인간 레이블 데이터에 의존도를 줄이기 위해 가짜 레이블 데이터를 활용한 지식 디스틸리케이션을 활용하기 위해.

제안 방법

• 작은 인간 레이블이 부여된 노이즈가 많은 기업 전화 통화 녹취록 데이터셋에 대해 최첨단의 큰 LUKE 모델을 미세튜닝하여 교사 모델을 생성한다.
• 미세튜닝된 LUKE 모델을 사용하여 큰 규모의 레이블이 없는 노이즈가 많은 전화 통화 녹취록 데이터셋에서 가짜 레이블을 생성한다.
• 교수-학습 데이터에 대해 교차 엔트로피 손실을 사용하여 더 작은 DistilBERT 기반의 학생 모델을 훈련시킨다.
• 성능 향상을 위해 소량의 인간 레이블이 부여된 도메인 내 데이터를 사용하여 학생 모델에 두 번째 단계의 미세튜닝을 수행한다.
• CPU에서 200ms 이내의 지연 시간을 확보하기 위해 학생 모델의 추론 속도와 효율성을 최적화한다.
• 교차 엔트로피 손실 함수를 사용한다: $ L_{CE} = -\frac{1}{N}\sum_{n=1}^{N}\log\frac{e^{\hat{y}_{n,y_{n}}}}{\sum_{c=1}^{C}e^{\hat{y}_{n,c}}} $, 여기서 $ \hat{y}_{n,c} $ 는 샘플 $ n $ 에서 클래스 $ c $ 의 로짓을 의미한다.

실험 결과

연구 질문

• RQ1 큰 정확도를 가진 NER 모델에서 작은 빠른 모델로 성능을 효과적으로 디스틸리케이션할 수 있는가? 이는 노이즈가 많고 실제 환경의 전화 통화 녹취록에서 성립하는가?
• RQ2 교사 모델에서 유도된 가짜 레이블링이 자원이 제한된, 노이즈가 많은 NLP 환경에서 비용이 많이 드는 인간 레이블링의 필요성을 얼마나 줄일 수 있는가?
• RQ3 디스틸리케이션된 학생 모델이 엄격한 실시간 추론 요구사항을 충족하면서도 교사 모델에 가까운 성능을 달성할 수 있는가?
• RQ4 제한된 인간 레이블 데이터에서 단일 단계의 미세튜닝과 비교해보았을 때, 두 단계의 미세튜닝(디스틸리케이션 + 도메인 내 미세튜닝) 방식은 어떤가?

주요 결과

• DistilBERT dtft 모델은 F1 점수 85.29%를 기록하여 LUKE ft 모델의 F1 점수 86.07%의 99.09%를 달성했다.
• DistilBERT dtft 모델은 LUKE ft 모델의 2980ms 대비 40ms로 추론 시간이 75배 빨라졌으며, 이는 CPU에서 실시간 배포를 가능하게 했다.
• 동일한 아키텍처와 추론 시간을 가진 DistilBERT ft 모델(83.08% F1)에 비해 거의 2.2%p 높은 성능을 기록했다.
• 교수-학습 모델에서 유도된 대규모 가짜 레이블 데이터를 활용함으로써 인간 레이블 데이터의 필요성을 크게 줄였다.
• 첫 번째 단계로 디스틸리케이션 데이터에서, 두 번째 단계로 도메인 내 데이터에서의 두 단계의 미세튜닝 과정이 인간 레이블 데이터를 최소로 사용하면서도 높은 성능을 달성하는 데 필수적이었다.