[論文レビュー] Paraphrase Augmented Task-Oriented Dialog Generation

Silin Gao, Yichi Zhang+2 more|arXiv (Cornell University)|Apr 16, 2020

Topic Modeling参考文献 36被引用数 12

ひとこと要約

本稿では、自動的に構築された並び替え表現データを用いて、並び替え表現モデルと応答生成モデルを一緒に学習する、共同学習フレームワークであるParaphrase Augmented Response Generation (PARG) を提案する。PARGは、文脈的に整合性があり多様な並び替え表現を生成することで、CamRest676およびMultiWOZにおける応答品質とタスク達成率の向上を図り、特にリソースが限られた状況下でも顕著な性能向上を達成する。

ABSTRACT

Neural generative models have achieved promising performance on dialog generation tasks if given a huge data set. However, the lack of high-quality dialog data and the expensive data annotation process greatly limit their application in real-world settings. We propose a paraphrase augmented response generation (PARG) framework that jointly trains a paraphrase model and a response generation model to improve the dialog generation performance. We also design a method to automatically construct paraphrase training data set based on dialog state and dialog act labels. PARG is applicable to various dialog generation models, such as TSCP (Lei et al., 2018) and DAMD (Zhang et al., 2019). Experimental results show that the proposed framework improves these state-of-the-art dialog models further on CamRest676 and MultiWOZ. PARG also significantly outperforms other data augmentation methods in dialog generation tasks, especially under low resource settings.

研究の動機と目的

• タスク指向対話システムにおける高品質でアノテート済みの対話データが限られているという課題に対処すること。
• 対話文脈と意図を保持する並び替え表現ベースのデータ拡張を活用することで、応答生成の性能を向上させること。
• 並び替え表現生成と応答生成を共同最適化するエンドツーエンドのフレームワークを構築し、モデルの一般化性能を向上させること。
• 大規模な人手によるアノテーションデータセットへの依存を減らすために、高品質な合成対話並び替え表現を自動的に生成すること。
• データ不足がモデル性能を制限するリソースが限られた状況下で、並び替え表現拡張の有効性を実証すること。

提案手法

• 同じ対話行動と意味的内容を持つが、異なる対話セッション内で異なる表面形をとるユーザー発話同士を特定することで、並び替え表現学習データセットを構築する。
• 並び替え表現生成モデルと応答生成モデルの両方に対して、段階的なseq2seqアーキテクチャを採用し、文脈認識に基づく構造的な生成を可能にする。
• 2つのモデルのデコーダー間においてグローバルアテンション機構を導入することで、学習中に共同最適化を実現する。
• 発話フィルタコンponentは、高品質で文脈的に整合性のある並び替え表現のみをデータ拡張に使用することを保証する。
• 対話状態と対話行動ラベルに基づいて並び替え表現を生成することで、並び替えられた発話間での機能的一致性を確保する。
• TSCP や DAMD などの既存の最先端モデルと互換性があり、即座に統合可能な拡張機能を備える。

実験結果

リサーチクエスチョン

• RQ1 並び替え表現ベースのデータ拡張は、タスク指向対話システムにおける応答生成品質の向上に寄与するか？
• RQ2 並び替え表現モデルと応答生成モデルの共同学習は、下流タスクの性能にどのような影響を与えるか？
• RQ3 PARGは、リソースが限られた学習条件下でどの程度モデルの頑健性を向上させるか？
• RQ4 生成された並び替え表現の品質は、既存のデータ拡張手法と比較して、スムーズさと意図保持の観点でどの程度優れているか？
• RQ5 文脈に配慮した並び替え表現生成は、対話状態追跡とタスク達成率の向上に寄与するか？

主な発見

• PARGは、CamRest676およびMultiWOZの両方で応答生成性能を顕著に向上させ、特にタスク達成率の向上が顕著である。
• PARGは、訓練データの50％のみを用いても、完全データベースラインと同等の性能を達成しており、リソースが限られた状況下での有効性が顕著に示された。
• 人的評価では、NAEPara や SRPara よりも高い品質の並び替え表現を生成しており、比較の59.2％がPARGを上回り、SRParaと比較しても55.4％がPARGを上回った。
• PARGは、置換ベース（TextSub）および並び替え表現ベース（SRPara）の他のデータ拡張手法を上回っており、特にリソースが限られた状況下で顕著な優位性を示した。
• リソースが限られた状況下でも、モデルの誤りを低減した。例えば、データが不足する状況で、誤ったレストラン推薦を避けるための状態追跡の悪化を防いだ。
• 柔軟な語彙置換（例：'inexpensive' → 'cheap'）により、意味的忠実性を損なわず、表面形の多様性が向上した。