[論文レビュー] LARD: Large-scale Artificial Disfluency Generation

T. Passali, T. Mavropoulos+3 more|arXiv (Cornell University)|Jan 13, 2022

Speech and dialogue systems被引用数 7

ひとこと要約

本稿では、NLPツールと流暢な対話コーパスに基づくルールベース生成を用いて、英語テキストに大規模かつ現実的な人工的不順応を生成するためのLARDという手法を提案する。本手法は、繰返し、置換、再始動の多様な不順応を生成し、96,000件の例を含むデータセットをリリースしており、特に希少な不順応タイプにおいて、Switchboardなどの既存データセットよりも優れたモデル性能を示している。

ABSTRACT

Disfluency detection is a critical task in real-time dialogue systems. However, despite its importance, it remains a relatively unexplored field, mainly due to the lack of appropriate datasets. At the same time, existing datasets suffer from various issues, including class imbalance issues, which can significantly affect the performance of the model on rare classes, as it is demonstrated in this paper. To this end, we propose LARD, a method for generating complex and realistic artificial disfluencies with little effort. The proposed method can handle three of the most common types of disfluencies: repetitions, replacements and restarts. In addition, we release a new large-scale dataset with disfluencies that can be used on four different tasks: disfluency detection, classification, extraction and correction. Experimental results on the LARD dataset demonstrate that the data produced by the proposed method can be effectively used for detecting and removing disfluencies, while also addressing limitations of existing datasets.

研究の動機と目的

• 話しかけられた言語における不順応検出のための、大規模で多様かつバランスの取れたデータセットの不足に対処すること。
• 特に単純な繰返しの過剰代表という問題を抱える既存データセットのクラス不均衡問題を克服すること。
• 流暢なテキストから、複雑で一貫性があり、現実的な不順応を自動的かつスケーラブルに生成する手法を開発すること。
• 検出、分類、抽出、是正の4つのタスクを支援する新しい大規模データセット（LARD）をリリースすること。
• LARDで微調整されたモデルが、Switchboardのような不均衡なデータセットで学習されたモデルよりも、特に希少な不順応タイプにおいて優れた性能を示すことを実証すること。

提案手法

• 本手法は、流暢な発話のみを含む事前に存在する大規模な対話コーパス（SGD）をベースとして用いる。
• 入力テキストへの不順応挿入のため、文法的構造を分析・構造化するために高度なNLPツール（例：品詞タガー、依存構文解析器）を適用する。
• 繰返し、置換、再始動の3つの主なタイプに対して、ルールベースのテンプレートを用いて不順応を生成する。
• 文脈に配慮した挿入戦略により、文法的・意味的妥当性を保ちながら、言語的整合性を確保する。
• 手動作業を最小限に抑えつつ、高い多様性と現実性を維持するようにパイプラインを設計する。
• 最終的なデータセットには約96,000件の不順応付き例が含まれており、不順応タイプごとにバランスの取れた分布となっている。

実験結果

リサーチクエスチョン

• RQ1 合成的不順応生成は、自然な人間の会話の複雑さを反映した、現実的で多様かつ一貫性のある不順応を生成できるか？
• RQ2 大規模でバランスの取れた合成データセットは、不均衡な実データセットと比較して、不順応検出および是正タスクにおけるモデル性能を向上させるか？
• RQ3 LARDデータセットで微調整されたモデルは、検出、分類、抽出、是正の複数の不順応関連タスクに効果的に一般化できるか？
• RQ4 LARDで学習されたモデルの性能は、Switchboardなどの既存データセットで学習されたモデルと比較して、特に希少な不順応タイプにおいてどう異なるか？
• RQ5 LARDによるデータ拡張は、不順応検出におけるクラス不均衡の悪影響をどれほど軽減できるか？

主な発見

• LARDデータセットで微調整されたモデルは、不順応検出タスクで97.62%のF1スコアを達成し、Switchboardで学習されたモデルを顕著に上回った。
• 最も希少な不順応タイプ（再始動）では、LARDで学習されたモデルが95.08%の正答率を達成したのに対し、Switchboardではたったの19.6%であった。
• 置換不順応では、LARDベースのモデルが99.67%の正答率を達成したのに対し、Switchboardでは54.52%であった。
• 不順応是正タスクでは、LARDデータセットでBLEUスコア86.48を達成したのに対し、Switchboardでは71.49であった。
• LARDデータセットは、検出、分類、抽出、是正の4つのタスクすべてで優れた性能を示した。
• 本研究では、Switchboardのような既存のデータセットにおけるデータの不均衡が、特に非繰返し不順応のモデル一般化を著しく制限することが確認された。