[論文レビュー] A dataset for resolving referring expressions in spoken dialogue via contextual query rewrites (CQR)

Michael Regan, Pushpendre Rastogi+2 more|arXiv (Cornell University)|Mar 28, 2019

Natural Language Processing Techniques参考文献 20被引用数 4

ひとこと要約

本論文では、会話の文脈を用いて曖昧なユーザー発話を明確な1回発話の自然言語クエリに再構成することで、マルチターン音声対話における参照表現の解決を図る、Contextual Query Rewrite (CQR) という新しい手法を紹介する。新たに公開された公開データセット上で、スロット補完の正確性が向上（F1: 0.91 対 0.89）し、明示的な状態追跡やドメイン固有のNLU更新を必要とせずに、下流のNLUを簡素化し性能を向上させることを示している。

ABSTRACT

We present Contextual Query Rewrite (CQR) a dataset for multi-domain task-oriented spoken dialogue systems that is an extension of the Stanford dialog corpus (Eric et al., 2017a). While previous approaches have addressed the issue of diverse schemas by learning candidate transformations (Naik et al., 2018), we instead model the reference resolution task as a user query reformulation task, where the dialog state is serialized into a natural language query that can be executed by the downstream spoken language understanding system. In this paper, we describe our methodology for creating the query reformulation extension to the dialog corpus, and present an initial set of experiments to establish a baseline for the CQR task. We have released the corpus to the public [1] to support further research in this area.

研究の動機と目的

• マルチターンタスク指向対話における参照表現の解決、特にゼロ代名詞のような非明示的参照の課題に対処すること。
• 状態追跡の明示的実装やドメイン固有のNLU再訓練を不要にするために、参照解決をクエリ再構成として定式化すること。
• スケーラブルでスキーマに依存しない方法を提供し、対話システムにおける自然言語理解の性能を向上させること。
• 将来的な研究を支援するため、ゴールスタンダードおよびクラウドソーシングによるクエリ再構成を含む公開データセットをリリースすること。

提案手法

• CQRタスクは、過去の対話ターンからの関連するスロット値を組み込むことで、曖昧なユーザー発話を明確で文脈を豊かにした1ターンクエリに再構成する。
• この手法は、対話履歴を活用して関連するスロット値（例：場所、エンティティ名）を自然言語クエリに持ち込み、非明示的参照を解消する。
• データセットは、Stanford Dialog Corpusに、Amazon Mechanical Turkを用いてゴールスタンダードおよびクラウドソーシングによるクエリ再構成を追加することで構築された。
• OpenNMTに基づくシーケンス・ツー・シーケンスモデルを、正確性を向上させるようにハイパーパrameterを最適化して訓練する。
• アプローチは、ドメイン分類とスロット補完の2つのタスクで評価され、元の対話と再構成済みクエリの両方で性能を比較する。
• 一般化を保つために、トレーニング中に特定のエンティティを標準タイプ（例：poi_type）に置換するデデキャライゼーションが適用される。

実験結果

リサーチクエスチョン

• RQ1 文脈的クエリ再構成は、明示的な状態追跡を要せず、マルチターン音声対話における参照表現を効果的に解決できるか？
• RQ2 ユーザー発話を明確で1回発話のクエリに再構成することで、ドメイン分類とスロット補完の下流NLU性能が向上するか？
• RQ3 元の対話とCQRによる再構成済みクエリを用いた場合、NLUシステムの性能はどのように比較されるか？
• RQ4 クラウドソーシングによるクエリ再構成はどの程度一般化可能か？また、語彙的多様性とモデルの正確性の観点からゴールスタンダード再構成と比べてどうか？

主な発見

• CQRアプローチは、ゴール再構成データ上でスロット補完のF1スコアを0.91に達成し、元の対話のF1（0.89）を有意に上回った。
• ドメイン分類の正確性は、元の入力および再構成済み入力の両方で0.98を維持しており、再構成プロセスが意図理解を保持していることを示している。
• ゴールのみの再構成で訓練されたモデルは、開発セットでF1 0.838、BLEUスコア0.711を達成し、コアタスクにおける強力な性能を示している。
• ゴールとクラウドソーシング再構成の両方で訓練した場合、F1は0.897、BLEUスコアは0.397に達し、より多様な人間による再構成が、高い誤差率を伴いながらも一般化性能を向上させることを示している。
• 67%のスロットが対話履歴から再構成に持ち越されていることから、文脈的に関連する情報を捉えるというタスクの複雑さが示されている。
• 結果から、クエリ再構成により、マルチターンの曖昧さが1ターンの明確さに変換され、アーキテクチャの最小限の変更で正確性が向上することを示唆している。