[論文レビュー] Building a Conversational Agent Overnight with Dialogue Self-Play

Pararth Shah, Dilek Hakkani‐Tür+5 more|arXiv (Cornell University)|Jan 15, 2018

Topic Modeling参考文献 17被引用数 161

ひとこと要約

本論文は M2M を紹介する。自動化された自己対話とクラウドソーシングを組み合わせて、エンドツーエンドのゴール指向対話エージェントを迅速にブートストラップし、数時間で多様で高品質なデータセットを生成する。タスクスキーマと API クライアントで推進されるタスク非依存のパイプラインを構築し、概要を生成する。概要はクラウドワーカーによって言語自然な対話文にパラフレーズされ、訓練用の自然言語ダイアログとなる。

ABSTRACT

We propose Machines Talking To Machines (M2M), a framework combining automation and crowdsourcing to rapidly bootstrap end-to-end dialogue agents for goal-oriented dialogues in arbitrary domains. M2M scales to new tasks with just a task schema and an API client from the dialogue system developer, but it is also customizable to cater to task-specific interactions. Compared to the Wizard-of-Oz approach for data collection, M2M achieves greater diversity and coverage of salient dialogue flows while maintaining the naturalness of individual utterances. In the first phase, a simulated user bot and a domain-agnostic system bot converse to exhaustively generate dialogue "outlines", i.e. sequences of template utterances and their semantic parses. In the second phase, crowd workers provide contextual rewrites of the dialogues to make the utterances more natural while preserving their meaning. The entire process can finish within a few hours. We propose a new corpus of 3,000 dialogues spanning 2 domains collected with M2M, and present comparisons with popular dialogue datasets on the quality and diversity of the surface forms and dialogue flows.

研究の動機と目的

• 新しいタスクに対して広範な人間データ収集を伴わずに、ゴール指向対話エージェントを迅速にブートストラップする必要性を動機づける。
• クラウドソーシングの労力を削減しつつ、対話の多様性とカバレッジを高めるデータ効率的なフレームワークを提案する。
• 自己対話によって対話のアウトラインを生成する二段階プロセスを導入し、それをパラフレースタスクを通じて自然言語へ変換する。
• M2M が生成データを既存の対話データセットと比較する実証的評価とデータセットを提供し、品質と多様性の改善を示す。

提案手法

• スロットベースのスキーマ S と候補エンティティを問い合わせる API クライアント C からなるタスク仕様を定義する。
• agenda-based ユーザー・シミュレータと有限状態系ボットの自己対話によってアウトライン o を生成し、対話フローを探索する。
• 各アウトラインをドメイン一般のテンプレート発話ジェネレータで自然言語対話へ変換する。
• 各テンプレート発話を、クラウドワーカーが文脈的書換タスクで自然な自然言語発話 u にパラフレーズする。
• パラフレーズ発話にスロットスパンと意味を付与して検証・注釈を行い、必要に応じてアクティブラーニングによる修正を行う。
• 任意に追加アウトラインをサンプルしてパラフレーズマップを再利用し、追加の対話を合成してデータを拡張する。

実験結果

リサーチクエスチョン

• RQ1 自動化された自己対話とクラウドソーシングを組み合わせて、迅速に高品質で多様かつタスク関連の対話データセットを生成するにはどうすればよいか。
• RQ2 M2M は Wizard-of-Oz やスキルレベルデータ収集といった従来のクラウドソーシング手法と比べて、対話言語とフローのカバレッジを改善するか。
• RQ3 生成されたデータセットは、ゴール指向タスクのモジュール型およびエンドツーエンドの対話モデルの効果的な訓練を支援できるか。
• RQ4 新しいタスクデータセットを M2M でブートストラップする際の実際のコストと時間節約はどの程度か。

主な発見

• M2M は DSTC2 風のレストランデータセットよりも言語的多様性と豊かな対話フローを生み出す（例：転換の一意性やサブダイアログが多い）。
• 自己対話とクラウドソーシングによるパラフレーズを組み合わせて、2つのドメイン（レストランと映画チケット）で3,000対話のコーパスを生成する。
• クラウドワーカーは文脈的書換を介して自然言語のパラフレーズを提供し、発話の意味とスロット値の注釈を効率的に実現する。
• この組み合わせのアプローチにより、数時間内でデータセットの構築とモデル訓練が可能になり、ユーザーとシステムの各ターンに有利な特性を示す品質がクラウドワーカーの評価で確認される。
• M2M のデータセットは状態追跡、言語理解、ポリシー、生成コンポーネントの訓練を支援し、強化学習によるエンドツーエンドモデルのブートストラップにも使用できる。