[論文レビュー] Data Augmentation with Paraphrase Generation and Entity Extraction for Multimodal Dialogue System

Eda Okur, Saurav Sahay+1 more|arXiv (Cornell University)|May 9, 2022

Topic Modeling被引用数 9

ひとこと要約

本論文は、子ども向けの算数学習を対象とするマルチモーダル対話システムにおける意図認識の向上を目的として、モデルインザループ（MITL）を用いた並び替え生成とドメイン固有のエンティティ抽出を組み合わせたデータ拡張フレームワークを提案する。並び替え生成とマルチタスク型Transformerモデルを統合し、ConceptNetを用いた自動エンティティ付与によって、小規模でタスク特化型のデータセット上で意図認識のF1スコアを90.6%から99.4%まで向上させた。

ABSTRACT

Contextually aware intelligent agents are often required to understand the users and their surroundings in real-time. Our goal is to build Artificial Intelligence (AI) systems that can assist children in their learning process. Within such complex frameworks, Spoken Dialogue Systems (SDS) are crucial building blocks to handle efficient task-oriented communication with children in game-based learning settings. We are working towards a multimodal dialogue system for younger kids learning basic math concepts. Our focus is on improving the Natural Language Understanding (NLU) module of the task-oriented SDS pipeline with limited datasets. This work explores the potential benefits of data augmentation with paraphrase generation for the NLU models trained on small task-specific datasets. We also investigate the effects of extracting entities for conceivably further data expansion. We have shown that paraphrasing with model-in-the-loop (MITL) strategies using small seed data is a promising approach yielding improved performance results for the Intent Recognition task.

研究の動機と目的

• 子ども向けのタスク指向型対話システムのための堅牢な自然言語理解（NLU）モジュールを学習する際のラベル付きデータの不足という課題に対処すること。
• 幼い学習者を対象とする教育的応用で一般的な低リソース環境における意図認識性能の向上。
• 特にドメイン固有の文脈において、エンティティ抽出および拡張がNLU性能に与える影響を調査すること。
• ConceptNetのような知識グラフを用いて、手動ラベリングへの依存を減らす、スケーラブルで低コストなエンティティラベリング手法の開発。
• 並び替え生成とエンティティに配慮したデータ拡張の相乗効果が、モデルの汎化性能および耐障害性を向上させるかを調査すること。

提案手法

• 微調整済み言語モデルを用いて、モデルインザループ（MITL）による並び替え生成を行い、元の学習発話の多様で意味的に妥当な並び替えを生成する。
• 意図分類とエンティティ認識を同時に実行するマルチタスク型Transformerアーキテクチャ（DIET + ConveRT）を採用する。
• ConceptNetを用いて、語の類似度スコアが閾値（0.7）を超えるものに基づき、自動でエンティティを付与する。
• ConceptNetから得た同義語辞書を活用し、spaCyによる品詞タグ付け済みトークン上に、ドメイン固有のエンティティ（例：算数用語、ゲーム文脈の対象物）を自動で付与する。
• 並び替え済みおよびエンティティ拡張済みのサンプルを元の小規模データセットに統合し、データ拡張を実施する。
• 3回の実行で10-fold交差検証を実施し、意図認識およびエンティティ認識のF1スコアを測定する。

実験結果

リサーチクエスチョン

• RQ1 モデルインザループ（MITL）を用いた並び替え生成は、子ども向け対話システムの小規模でタスク特化型のデータセットにおいて、意図認識のF1スコアを顕著に向上させることができるか？
• RQ2 ConceptNetを用いた自動エンティティ抽出は、spaCyのデフォルトNERSや手動ラベリングと比較して、エンティティ認識性能をどの程度向上させるか？
• RQ3 データ拡張と組み合わせたドメイン固有エンティティの導入が、全体の意図分類性能に与える影響は何か？
• RQ4 並び替えとエンティティ拡張の組み合わせにより、低データ環境下でもより頑健で汎化性の高いNLUモデルを構築できるか？
• RQ5 教育的対話システムにおいて、手動ラベリングと自動ラベリングの間で、F1スコアとラベリングコストのトレードオフはどのようなものか？

主な発見

• モデルインザループ（MITL）を用いた並び替え生成により、ベースラインモデルの意図認識F1スコアが90.6%から95.6%に向上した。
• MITLによるデータ拡張をマルチタスクアーキテクチャと統合した結果、意図F1スコアが99.4%まで向上した。
• 手動エンティティラベリングにより、エンティティ認識F1スコアが72.8%（spaCy NER）から97.1%に向上した。
• 自動ラベリングによるエンティティでは92.6%のF1スコアを達成し、性能とラベリングコストのバランスが良好であることが示された。
• 意図とエンティティの同時認識モデルでは、エンティティを導入したことで意図認識のF1スコアにわずかな低下が見られたが、エンティティ拡張による全体的なパフォーマンス向上は顕著であった。
• 並び替えと自動ラベリング済みエンティティの組み合わせにより、特に低データ環境下においてNLUの頑健性が顕著に向上した。