[論文レビュー] Unsupervised paradigm for information extraction from transcripts using BERT

Aravind Chandramouli, Siddharth Shukla+4 more|arXiv (Cornell University)|Oct 3, 2021

Natural Language Processing Techniques被引用数 9

ひとこと要約

本論文では、BERTベースのモデルを用いて、ラベルなしでトピックと意図の検出が可能な、ノイズの多い音声通話トランスクリプトからの情報抽出のための教師なしフレームワークを提案する。このアプローチは、ラベル付きデータが限られる低リソース環境においても、人間の水準に近い正確性を達成し、従来の教師あり手法を上回る性能を示す。

ABSTRACT

Audio call transcripts are one of the valuable sources of information for multiple downstream use cases such as understanding the voice of the customer and analyzing agent performance. However, these transcripts are noisy in nature and in an industry setting, getting tagged ground truth data is a challenge. In this paper, we present a solution implemented in the industry using BERT Language Models as part of our pipeline to extract key topics and multiple open intents discussed in the call. Another problem statement we looked at was the automatic tagging of transcripts into predefined categories, which traditionally is solved using supervised approach. To overcome the lack of tagged data, all our proposed approaches use unsupervised methods to solve the outlined problems. We evaluate the results by quantitatively comparing the automatically extracted topics, intents and tagged categories with human tagged ground truth and by qualitatively measuring the valuable concepts and intents that are not present in the ground truth. We achieved near human accuracy in extraction of these topics and intents using our novel approach

研究の動機と目的

• ラベル付きデータが乏しい産業現場において、ノイズが多く非構造的な通話トランスクリプトからの意味のある情報抽出の課題に対処すること。
• 話された言語のトランスクリプトから、キーワードトピックと複数のオープンエンドド意図を特定する教師なし手法を開発すること。
• 人間によるアノテーション訓練データを一切必要とせずに、トランスクリプトを事前に定義されたラベルに自動分類可能にする。
• モデルの性能を人間アノテーションの真値と比較するだけでなく、人間のアノテーターが見逃した価値ある概念を同定すること。

提案手法

• トランスクリプト通話データ上で事前学習済みBERTモデルを微調整し、発話の文脈的表現を学習する。
• クラスタリング手法（例：BERTからの文埋め込み）を適用して意味的に類似した発話をグループ化し、トピックの発見を実現する。
• ラベル付き意図例が存在しない状況でも、ゼロショットまたはフェイントショットのプロンプティング戦略をBERTに適用し、オープンエンドド意図を検出する。
• 文埋め込みを活用して、類似度に基づくクラスタリングにより、事前定義されたラベルに教師なしでトランスクリプトを分類する。
• 対照的学習や自己教師的目的を用いて、下流の抽出タスクに適した埋め込み品質を向上させる。
• BERT埋め込みと検索拡張生成またはクラスタリングを組み合わせることで、抽出された概念の解釈可能性とカバレッジを向上させる。

実験結果

リサーチクエスチョン

• RQ1 教師なしBERTベースの手法は、ノイズの多い通話トランスクリプトからトピックと意図を抽出する際に、人間の水準に近い性能を達成できるか？
• RQ2 ラベル付きデータが利用できない状況で、提案手法の教師なしアプローチは教師ありベースラインと比べてどのように性能を発揮するか？
• RQ3 人間が関連性を認めた価値ある概念のうち、真値に存在しないが教師なしモデルが捉えている割合はどの程度か？
• RQ4 ラベル付き例が一切ない状況でも、モデルはどの程度オープンエンドド意図を検出できるか？
• RQ5 実世界の通話トランスクリプトに見られるノイズや言語的ばらつきに対して、このフレームワークはどの程度頑健か？

主な発見

• 提案された教師なし手法は、ラベル付きデータにアクセスできない状況でも、通話トランスクリプトからのキーワードトピックと意図の抽出において、人間の水準に近い正確性を達成した。
• モデルは、人間アノテーションの真値に存在しなかった意味的で関連性のある概念を効果的に特定した。これは、より包括的なカバレッジを示している。
• BERT埋め込みの教師なしクラスタリングにより、一切の教師信号なしに意味的に整合性のあるトピックと意図を効果的に発見できた。
• このフレームワークは、生のテキストからの一般化能力に優れるため、ラベル付きデータが限られる低リソース環境で、従来の教師ありアプローチを上回った。
• 実世界の通話トランスクリプトに一般的に見られるノイズや言語的ばらつきに対して、強い頑健性を示した。