[論文レビュー] A Unified Implicit Dialog Framework for Conversational Search

Song Feng, Chulaka Gunasekara+3 more|arXiv (Cornell University)|Feb 12, 2018

Speech and dialogue systems参考文献 2被引用数 3

ひとこと要約

本稿では、対話的検索のための統合的でエンド・ツー・エンドで学習可能なフレームワークを提案する。このフレームワークは、集中型の知識表現を用いて、意図検出、状態追跡、クエリ生成といった対話的コンponentsを暗黙的かつ一括的に導出することで、手動でコーディングされたルールに依存せずに、ドメイン間での迅速な適合を可能にする。フレームワークは89%の意図分類精度を達成し、プラグアンドプレイ式の意味的マッチングとフィードバック駆動型の改善をサポートする。

ABSTRACT

We propose a unified Implicit Dialog framework for goal-oriented, information seeking tasks of Conversational Search applications. It aims to enable dialog interactions with domain data without replying on explicitly encoded the rules but utilizing the underlying data representation to build the components required for dialog interaction, which we refer as Implicit Dialog in this work. The proposed framework consists of a pipeline of End-to-End trainable modules. A centralized knowledge representation is used to semantically ground multiple dialog modules. An associated set of tools are integrated with the framework to gather end users' input for continuous improvement of the system. The goal is to facilitate development of conversational systems by identifying the components and the data that can be adapted and reused across many end-user applications. We demonstrate our approach by creating conversational agents for several independent domains.

研究の動機と目的

• 手動でコーディングされたルールやドメイン特有の論理によって、目的志向型対話的検索システムにおける開発コストの高騰と再利用性の低さという課題に対処する。
• 対話ロジックを明示的なルール記述から分離することで、多様なドメインにわたる対話エージェントのシームレスな適合を可能にする。
• エンドユーザー、ドメイン専門家、アノテーターからの統合的フィードバック収集を通じて、継続的なシステム改善を促進する。
• 共通のドメインに依存しない知識表現を用いて、コアコンポーネントを再利用可能なモジュラーかつプラグアンドプレイ型のアーキテクチャを構築する。
• アパートメント賃貸やレストラン検索といった実世界のドメインにおいて、最小限の再設定でフレームワークの有効性を実証する。

提案手法

• ドメイン知識ベースから、ドメインに依存しない形でエンティティ、意味的関係、データ型、および操作を捉える中央知識表現（CKR）を構築する。
• CKRを用いて、意図ラベル付け、状態追跡、クエリ生成を含むすべての対話モジュールを意味的に根拠づけ、初期化する。
• 3段階の意味的マッチングパイプラインを実装する：リテラルマッチング、ファジーマッチング、および単語埋め込みを用いたベクトル表現マッチング。
• 脱固辞化された発話文を用いて自然言語意図分類器を学習し、200件以上の発話文からなるテストセットで89%の精度を達成する。
• ウィザード・オブ・オズの設定を用いて対話シミュレータを構築し、合成対話データを生成するとともに、人間のエージェントからのリアルタイムフィードバックを収集する。
• フィードバックを学習モジュールに統合することで、再学習を完全に再開することなく、対話コンポーネントの継続的改善を可能にする。

実験結果

リサーチクエスチョン

• RQ1 明示的にエンコードされた対話ルールに依存せずに、ドメインに依存しない統合的フレームワークを構築できるか？
• RQ2 集中型の知識表現が、意図検出や状態追跡といった対話コンポーネントの自動導出にどの程度効果的に機能するか？
• RQ3 同じフレームワークが、最小限の再設定で、さまざまなドメインにどの程度再利用可能か？
• RQ4 人間のエージェントからのリアルタイムフィードバックが、継続的学習ループにおいて対話システムのパフォーマンス向上に寄与できるか？
• RQ5 従来のルールベース型またはエンド・ツー・エンド型アプローチと比較して、暗黙的対話フレームワークの精度と適合性はどの程度か？

主な発見

• 200件以上の発話文からなるテストセットにおいて、89%の意図分類精度を達成しており、明示的なルール設計なしに強力な意図検出性能を示している。
• 集中型の知識表現の使用により、アパートメント賃貸やレストラン検索といった異なるドメイン間で、データベースとCKRの再設定のみで、対話コンポーネントのシームレスな適合が可能である。
• 対話シミュレータは、リアルタイムで人間が関与するフィードバックを効果的に捉えており、これはオフラインのアノテーションよりも情報量が多く、モデル改善に直接的に利用可能である。
• モジュラーでプラグアンドプレイ型の設計により、意味的マッチング手法の入れ替えが可能となり、対話システム開発における柔軟性と拡張性が向上する。
• CKRに根拠を置いたコンポーネントの再利用により、高コストな手動による対話ロジック設計やアノテート済み学習データへの依存が軽減される。
• CKRの再生成後、新しいドメインでも同等のパフォーマンスを示すため、アプリケーション間での強力な一般化能力と再利用性が裏付けられている。