[論文レビュー] Improving Named Entity Recognition in Telephone Conversations via Effective Active Learning with Human in the Loop

Md Tahmid Rahman Laskar, Cheng Chen+2 more|arXiv (Cornell University)|Nov 2, 2022

Topic Modeling被引用数 5

ひとこと要約

本稿では、名前付きエンティティ抽出（NER）のためのノイジーサイレント通話トランスクリプトを特定・再ラベル付けるために、人間が関与するアクティブラーニングフレームワークを提案する。これにより、完全な再ラベル付けの必要性を顕著に低減できる。訓練データのわずか6%を再ラベル付けするだけで、組織エンティティのF1スコアが最大25.27%向上し、全体のF1スコアも1.52%向上する。その結果、リソースが限られた生産環境でも、小規模なモデルで高い性能を発揮するNERが可能になる。

ABSTRACT

Telephone transcription data can be very noisy due to speech recognition errors, disfluencies, etc. Not only that annotating such data is very challenging for the annotators, but also such data may have lots of annotation errors even after the annotation job is completed, resulting in a very poor model performance. In this paper, we present an active learning framework that leverages human in the loop learning to identify data samples from the annotated dataset for re-annotation that are more likely to contain annotation errors. In this way, we largely reduce the need for data re-annotation for the whole dataset. We conduct extensive experiments with our proposed approach for Named Entity Recognition and observe that by re-annotating only about 6% training instances out of the whole dataset, the F1 score for a certain entity type can be significantly improved by about 25%.

研究の動機と目的

• 音声認識エラーと句読点・大文字の欠如により、正確にラベル付けが困難なノイズの多いASR生成通話トランスクリプトの課題に対処すること。
• 誤りの多いデータを完全に再ラベル付けする高コスト・高作業負荷を回避するため、誤りを含みやすいインスタンスのみを特定して再ラベル付けすること。
• 現実世界のノイズの多い会話データにおいて、組織と製品エンティティを区別する能力を向上させること。
• リソースが限られた生産環境でも、効率的で小規模なモデル（例：DistilBERT）を高精度で運用可能にするための手法を提供すること。

提案手法

• フレームワークは、ラベル付けエラーを含みやすい可能性が高い訓練インスタンスをサンプリングするアクティブラーニングを用いる。特に、曖昧さや高い不確実性を持つ予測に焦点を当てる。
• アンサンブル予測の不一致とモデルの不確実性を活用して、人間による再ラベル付けの優先度を決定する。
• ラベルの再付けは、特にノイズの多いテキストで区別が難しい組織と製品エンティティに注目し、選択されたデータの6%に限定して実施される。
• 再ラベル付けされたデータを用いて、DistilBERTモデルを微調整し、ノイズの多い現実世界の会話テキストにおける性能を向上させる。
• 「蒸留してから微調整する（dtft）」戦略を採用：大規模なLUKEモデルが483,766件のラベルなし発話に対して擬似ラベルを生成し、それをもとに小型のDistilBERT学生モデルを微調整する。
• 最終的なモデルは生産環境にデプロイされ、最小限の計算リソースで高い性能を発揮する。

実験結果

リサーチクエスチョン

• RQ1 ノイズの多いASR生成通話トランスクリプトにおいて、アクティブラーニングはラベル付けエラーを含みやすいインスタンスを効果的に特定できるか？
• RQ2 訓練データのわずかな割合（例：6%）を再ラベル付けすることで、組織および製品エンティティのNER性能がどの程度向上するか？
• RQ3 提案された人間が関与するアクティブラーニングフレームワークは、完全なデータ再ラベル付けの必要性を減らしつつ、モデルの一般化性能を維持または向上させられるか？
• RQ4 再ラベル付けされたデータと擬似ラベル付けを用いて微調整された、小規模で効率的なモデル（例：DistilBERT）は、ノイズの多い会話的NERで高い性能を発揮できるか？
• RQ5 「蒸留してから微調整する（dtft）」アプローチは、リソースが限られたノイズの多い会話的データにおいて、モデル性能をどの程度向上させられるか？

主な発見

• 訓練データのわずか6%を再ラベル付けした結果、組織エンティティタイプのF1スコアが25.27%向上した。
• 全4種類のエンティティタイプ（Person, GPE Location, Product, Organization）の全体のF1スコアは、再ラベル付け後、1.52%向上した。
• Personを除く全エンティティタイプで精度、再現率、F1スコアが向上し、特に組織エンティティで顕著な向上が見られた。
• 「蒸留してから微調整する（dtft）」アプローチにより、性能がさらに向上し、生産環境に小規模なDistilBERTモデルを高精度でデプロイ可能になった。
• 完全なデータ再ラベル付けの必要性を顕著に低減した一方で、未知のエンティティやノイズの多いテキストに対するモデルの頑健性が著しく向上した。
• 本フレームワークは、リソースが限られたノイズの多い会話的環境において、類似するエンティティタイプ（例：製品 vs 組織）を効果的に区別できることを実証した。