[論文レビュー] Planning for Goal-Oriented Dialogue Systems

Christian Muise, Tathagata Chakraborti+7 more|arXiv (Cornell University)|Oct 17, 2019

Multi-Agent Systems and Negotiation参考文献 30被引用数 17

ひとこと要約

本稿では、高レベルの仕様を実行可能プランにコンパイルすることで、手作業による対話ツリー作成を排除し、複雑でマルチターンの対話エージェントの自動生成を可能にする、目的指向対話システム向けの宣言的計画フレームワークを提案する。このアプローチは、最先端の計画技術を活用し、エンド・トゥ・エンドで仕様から実行までをカバーするスケーラブルで検証可能な対話フローの合成を実現する。

ABSTRACT

Generating complex multi-turn goal-oriented dialogue agents is a difficult problem that has seen a considerable focus from many leaders in the tech industry, including IBM, Google, Amazon, and Microsoft. This is in large part due to the rapidly growing market demand for dialogue agents capable of goal-oriented behaviour. Due to the business process nature of these conversations, end-to-end machine learning systems are generally not a viable option, as the generated dialogue agents must be deployable and verifiable on behalf of the businesses authoring them. In this work, we propose a paradigm shift in the creation of goal-oriented complex dialogue systems that dramatically eliminates the need for a designer to manually specify a dialogue tree, which nearly all current systems have to resort to when the interaction pattern falls outside standard patterns such as slot filling. We propose a declarative representation of the dialogue agent to be processed by state-of-the-art planning technology. Our proposed approach covers all aspects of the process; from model solicitation to the execution of the generated plans/dialogue agents. Along the way, we introduce novel planning encodings for declarative dialogue synthesis, a variety of interfaces for working with the specification as a dialogue architect, and a robust executor for generalized contingent plans. We have created prototype implementations of all components, and in this paper, we further demonstrate the resulting system empirically.

研究の動機と目的

• 企業向け対話システムにおける複雑な対話ツリーの手作業作成が抱えるスケーラビリティと保守性の課題に対処すること。
• 解釈可能性・検証可能性・信頼できる訓練データの欠如により、エンド・ツー・エンド学習アプローチに制限があることの克服。
• 専門知識のない対話デザイナーが、低レベルの状態遷移ではなく、高レベルの目的と能力を宣言的に指定できるようにすること。
• ドメイン仕様から実行可能対話エージェントに至る統一的で拡張可能なパイプラインを提供し、形式的検証とデバッグ支援を備えること。
• デザイナーが正しいかつ完全な対話モデルを構築するのを支援する、新しい計画符号化法およびインタラクティブツール（例：Meta-Writer、CDDモード）を導入すること。

提案手法

• 対話エージェントをアクション、事前条件、効果、結果によって指定する宣言的ドメイン記述言語（D3WA）を用い、明示的な状態グラフを抽象化する。
• 標準的な計画符号化法を用いてD3WA仕様を古典的計画問題にコンパイルし、Fast Downwardなどの市販計画器の利用を可能にする。
• 事前学習済みのseq-to-seqモデルを用いて、会話ログから候補となるアクションと発話文を抽出する意味的パースモジュールを統合する。
• デザイナーが目標のみを指定できる制約駆動型対話（CDD）モードを実装し、計画器がすべての中間アクションを自動合成する。
• 設計プロセスをメタ計画問題としてモデル化するMeta-Writer支援機能を開発し、不完全または解けない仕様を検出し、修正を提案する。
• 一般化された条件的計画をサポートする可視化インターフェースおよび実行エンジンを構築し、動的で文脈依存の対話を強固に実行可能にする。

実験結果

リサーチクエスチョン

• RQ1 伝統的な対話ツリー手法と比較して、宣言的計画フレームワークは、複雑でマルチターンの目的指向対話エージェントの作成に要する手作業の負荷を著しく低減できるか？
• RQ2 自動計画技術は、明示的な状態空間の列挙なしに、高レベルのドメイン仕様から検証可能で行動的に正しい対話フローを生成できるか、その程度はいかほどか？
• RQ3 Meta-Writer支援機能は、設計段階で不完全または解けない対話仕様を検出し、修正をガイドするのにどの程度有効か？
• RQ4 制約駆動型対話指定（CDD）モードは、表現力の維持を前提に、設計プロセスを簡素化する使いやすい高レベルの抽象化を提供できるか？
• RQ5 コンパクトな宣言的仕様から計画を生成する際、対話の複雑さ（例：ノード数、エッジ数）の観点から、このシステムはどの程度スケーリングできるか？

主な発見

• 本システムは、わずか7つの対話アクションから63ノード・272エッジの複雑な対話エージェントを生成でき、手作業によるツリー作成に比べて顕著なスケーラビリティの向上を示した。
• Meta-Writer支援機能は、解けない仕様を検出し、欠落したアクションや結果の追加といった修正を提案することで、設計の堅牢性を向上させた。
• CDDモードにより、デザイナーが目標のみを指定するだけで、計画器がすべての必要な中間アクションを自動で合成でき、設計負荷が軽減された。
• 本フレームワークは、宣言的仕様から実行可能プランへのエンド・トゥ・エンドコンパイルをサポートしており、発話文の意味的パースと会話ログからの結果モデリングを含む。
• プロトタイプ実装により、デバッグ、可視化、対話エージェントの反復的精練を支援するという実用性と実現可能性が示された。
• 本アプローチにより、検証可能で保守性の高い対話エージェントが実現可能となり、エンド・ツー・エンド学習システムの主な限界を克服できる。