[論文レビュー] Towards Robust and Generalizable Training: An Empirical Study of Noisy Slot Filling for Input Perturbations

Jiachi Liu, Liwen Wang+9 more|arXiv (Cornell University)|Oct 5, 2023

Speech and dialogue systemsComputer Science被引用数 3

ひとこと要約

本稿では、スロット抽出のロバスト性を評価するための、人間がアノテートしたベンチマークデータセットNoise-SFを紹介する。このデータセットには、5種類の現実的でリアルなノイズタイプ（誤字、発話エラー、言い換え、冗長性、簡略化）が含まれる。また、テキストレベルと特徴量レベルのデータ拡張を統合したユニバーサルなノイズ耐性学習フレームワークを提案し、文字レベルの手法（例：CharAug）や連続的補間が、さまざまなノイズタイプにおいて性能向上をもたらすことを示している。特に、混合ノイズ状況下でのF1スコアが顕著に向上した。

ABSTRACT

In real dialogue scenarios, as there are unknown input noises in the utterances, existing supervised slot filling models often perform poorly in practical applications. Even though there are some studies on noise-robust models, these works are only evaluated on rule-based synthetic datasets, which is limiting, making it difficult to promote the research of noise-robust methods. In this paper, we introduce a noise robustness evaluation dataset named Noise-SF for slot filling task. The proposed dataset contains five types of human-annotated noise, and all those noises are exactly existed in real extensive robust-training methods of slot filling into the proposed framework. By conducting exhaustive empirical evaluation experiments on Noise-SF, we find that baseline models have poor performance in robustness evaluation, and the proposed framework can effectively improve the robustness of models. Based on the empirical experimental results, we make some forward-looking suggestions to fuel the research in this direction. Our dataset Noise-SF will be released at https://github.com/dongguanting/Noise-SF.

研究の動機と目的

• 実際の会話システムにおけるスロット抽出のロバスト性を評価するための、現実的で人間がアノテートしたノイズデータセットが不足しているという問題に対処すること。
• 多様な入力ノイズタイプに対してモデルのロバスト性を向上させるために、さまざまなデータ拡張戦略の有効性を調査すること。
• スロット抽出モデルに適用可能な、ユニバーサルなノイズ耐性学習フレームワークを開発すること。
• 今後のノイズ耐性NLPモデルに関する研究に対する実証的知見と、前向きなガイダンスを提供すること。

提案手法

• RADDLEデータセットから抽出し、人間がアノテートした5種類の現実的ノイズタイプ（誤字、発話エラー、言い換え、冗長性、簡略化）を有する発話文を用いて、Noise-SFを構築した。
• テキストレベルの拡張法5種と特徴量レベルの拡張法4種を統合したユニバーサルなノイズ耐性学習フレームワークを提案した。
• 文字レベルの破損（例：CharAug）や文レベルの言い換えといったテキストレベルの拡張を適用し、ロバストな訓練サンプルを生成した。
• 連続的補間を用いた特徴量レベルの拡張を統合し、入力摂動に対してモデルの整合性を向上させた。
• ノイズタイプ、拡張タイプ、組み合わせモードの3要素について、包括的なアブレーションスタディを実施し、ロバスト性を評価した。
• 複雑で現実的ノイズの組み合わせが生じる状況を想定し、汎化性能を評価するためのマルチノイズ混合データセットを構築した。

実験結果

リサーチクエスチョン

• RQ1 実際の入力ノイズ（例：誤字、発話エラー、言い換え）の種類が、教師ありスロット抽出モデルの性能にどのように影響を与えるか？
• RQ2 テキストレベルと特徴量レベルのさまざまなデータ拡張手法は、異なるノイズタイプにおいて、どの程度ロバスト性を向上させるか？
• RQ3 混合ノイズ状況下でロバスト性を最大化するために、テキストレベルと特徴量レベルの拡張法をどのように組み合わせるべきか？
• RQ4 提案されたフレームワークは、多様なノイズ分布に一般化可能であり、現実世界の会話システムにおけるモデルの汎化性能を向上させることができるか？

主な発見

• クリーンデータで訓練されたベースラインモデルは、Noise-SFにおいて顕著な性能低下を示し、誤字ノイズ下ではF1が95.8から最低64.3まで低下した。
• テキストレベルの拡張法（例：CharAug）は、文字レベルのノイズに対して優れた性能を示し、誤字や発話エラーの状況下でロバスト性が向上した。
• 連続的補間を用いた特徴量レベルの拡張は、言い換えや冗長性といった文レベルのノイズに対してより優れた結果をもたらした。
• テキストレベルと特徴量レベルの拡張法を併用することで、特にマルチノイズ混合状況下で最も強いロバスト性が得られた。
• 提案されたフレームワークは、すべてのノイズタイプにおいて一貫した性能向上を達成しており、その有効性と汎用性が裏付けられた。
• シミュレーション実験の結果、複数のノイズタイプが同時に存在する状況でも、フレームワークがロバスト性を維持することが確認された。