[論文レビュー] An Effective, Performant Named Entity Recognition System for Noisy Business Telephone Conversation Transcripts

Xue-Yong Fu, Cheng Chen+3 more|arXiv (Cornell University)|Sep 27, 2022

Topic Modeling被引用数 5

ひとこと要約

本論文では、ファインチューニングされたLUKEモデルを教師として、より小さなDistilBERT学生モデルに知識を蒸留するために、疑似ラベルを生成する「蒸留後にファインチューニング」手法を提案する。得られた学生モデルは、教師のF1スコアの99.09％（85.29％ vs. 86.07％）を達成するとともに、40msの推論時間で75倍高速化され、人為的ラベルデータを最小限に抑えつつ、ノイズが多いビジネス電話通話トランスクリプトにおいてリアルタイムでCPUベースで運用可能である。

ABSTRACT

We present a simple yet effective method to train a named entity recognition (NER) model that operates on business telephone conversation transcripts that contain noise due to the nature of spoken conversation and artifacts of automatic speech recognition. We first fine-tune LUKE, a state-of-the-art Named Entity Recognition (NER) model, on a limited amount of transcripts, then use it as the teacher model to teach a smaller DistilBERT-based student model using a large amount of weakly labeled data and a small amount of human-annotated data. The model achieves high accuracy while also satisfying the practical constraints for inclusion in a commercial telephony product: realtime performance when deployed on cost-effective CPUs rather than GPUs.

研究の動機と目的

• ノイズが多く、ASRによって生成されたビジネス電話会話トランスクリプトに対して、効果的に動作する名前付きエンティティ認識（NER）システムを開発すること。
• ノイズが多く、話言語に基づくトランスクリプトにおけるNERモデルの学習に必要な人為的ラベルデータが限られているという課題に対処すること。
• 特にGPUではなくCPU上で運用することを想定し、計算コストを低く抑えたリアルタイム推論を生産環境で実現すること。
• 疑似ラベルデータを用いた知識蒸留により、大規模な人為的ラベル付けに依存することを減らすこと。

提案手法

• 人為的ラベルが付与されたノイズが多いビジネス電話会話トランスクリプトの少量データセットを用いて、大規模で最先端のLUKEモデルをファインチューニングし、教師モデルを作成する。
• ファインチューニング済みのLUKEモデルを用いて、大規模な未ラベル付きの電話会話トランスクリプトデータセットに対して疑似ラベルを生成する。
• 交差エントロピー損失関数を用いて、疑似ラベル付きの蒸留データ上で、より小さなDistilBERTベースの学生モデルを訓練する。
• 性能を向上させるために、少量の人のラベルが付与されたドメイン特化データを用いて、学生モデルの第二段階のファインチューニングを実施する。
• CPU上で200ms未満の遅延を満たすよう、学生モデルの推論速度と効率性を最適化する。
• 交差エントロピー損失関数を用いる：$ L_{CE} = -\frac{1}{N}\sum_{n=1}^{N}\log\frac{e^{\hat{y}_{n,y_{n}}}}{\sum_{c=1}^{C}e^{\hat{y}_{n,c}}} $、ここで $ \hat{y}_{n,c} $ はサンプル $ n $ におけるクラス $ c $ のロジットを表す。

実験結果

リサーチクエスチョン

• RQ1 知識蒸留は、ノイズが多く現実世界の電話会話トランスクリプトにおいて、大規模で正確なNERモデルの性能を、より小さな高速なモデルに効果的に転送できるか？
• RQ2 教師モデルからの疑似ラベル付けは、リソースが限られたノイズの多いNLP環境において、高価な人為的ラベル付けの必要性をどの程度低減できるか？
• RQ3 蒸留された学生モデルは、CPU上で厳密なリアルタイム推論要件を満たしつつ、教師モデルにほぼ同等の性能を達成できるか？
• RQ4 人為的ラベルが限られたデータセットに対して、単一段階のファインチューニングと比較して、二段階のファインチューニング（蒸留 + ドメイン特化）はどのように性能に影響を与えるか？

主な発見

• DistilBERT dtftモデルはF1スコア85.29％を達成し、これはLUKE ftモデルのF1スコア86.07％の99.09％に相当する。
• DistilBERT dtftモデルは、LUKE ftモデルの2980msから比べて40msの推論時間で75倍高速化され、CPU上でリアルタイムデプロイが可能である。
• 同じアーキテクチャと推論時間であるにもかかわらず、DistilBERT ftモデル（83.08％ F1）と比較して、2.2ポイント近く高い性能を示した。
• 教師モデルからの大規模な疑似ラベルデータを活用することで、人為的ラベルデータの必要性を顕著に低減できた。
• 二段階のファインチューニングプロセス（まず蒸留データで、次にドメイン特化データで）が、人為的ラベルを最小限に抑えながら高い性能を達成する上で不可欠であることが判明した。