[論文レビュー] Beyond Domain APIs: Task-oriented conversational modeling with unstructured knowledge access

Seokhwan Kim, Mihail Eric+4 more|arXiv (Cornell University)|Jun 1, 2020

Speech and dialogue systems被引用数 8

ひとこと要約

本論文は、外部の非構造的知識ソースを統合することで、APIカバレッジ外のユーザー要求に対応できるように、タスク指向対話システムを強化する手法を提案する。知識探索ターン検出、知識選択、知識に基づく応答生成の3つのサブタスクを導入し、MultiWOZ 2.1の拡張版データセットを提供することで、より情報豊かな対話のための非構造的知識アクセスに関するさらなる研究の必要性を示している。

ABSTRACT

Most prior work on task-oriented dialogue systems are restricted to a limited coverage of domain APIs, while users oftentimes have domain related requests that are not covered by the APIs. In this paper, we propose to expand coverage of task-oriented dialogue systems by incorporating external unstructured knowledge sources. We define three sub-tasks: knowledge-seeking turn detection, knowledge selection, and knowledge-grounded response generation, which can be modeled individually or jointly. We introduce an augmented version of MultiWOZ 2.1, which includes new out-of-API-coverage turns and responses grounded on external knowledge sources. We present baselines for each sub-task using both conventional and neural approaches. Our experimental results demonstrate the need for further research in this direction to enable more informative conversational systems.

研究の動機と目的

• 既存のタスク指向対話システムが限定的カバレッジを持つ事前定義済みドメインAPIに依存するという制限を解消すること。
• 既存のAPIでカバーされていないユーザー要求を、外部の非構造的知識ソースを活用することで処理できるようにすること。
• 知識探索ターン検出、関連知識の選択、外部知識に基づく応答生成の3つの主要なサブタスクを定義・形式化すること。
• APIカバレッジ外の対話と知識に基づく応答を含む、拡張されたMultiWOZ 2.1の新バージョンを提供し、本分野における研究を支援すること。
• 従来の手法とニューラル手法を用いたベースラインモデルを構築し、提案されたサブタスクにおける性能を評価すること。

提案手法

• 外部の非構造的知識ソースに基づき、APIカバレッジ外の対話ターンを追加することで、MultiWOZ 2.1データセットを拡張する。
• 3つの明確なサブタスクを定義する：(1) 知識が必要なユーザーの発話（知識探索ターン）を検出するタスク、(2) 大規模コーパスから関連知識を抽出するタスク、(3) 外部知識に基づいた文脈的・事実的に適切な応答を生成するタスク。
• 従来のNLP技術とニューラルネットワークアーキテクチャの両方を用いて、各サブタスクのベースラインモデルを開発する。
• 3つのサブタスクにおいて、独立してまたは共同でモデルを学習・評価し、性能と相互依存性を評価する。
• Wikipedia やドメイン固有の文書などの外部知識ソースを活用し、既存のAPIの範囲を超えた応答を根拠づける。
• 応答生成にはsequence-to-sequenceモデル、ターン検出には分類モデルを適用し、知識選択にはアテンション機構を用いる。

実験結果

リサーチクエスチョン

• RQ1 どのようにしてタスク指向対話システムを、利用可能なドメインAPIの範囲外のユーザー要求に対応できるように拡張できるか？
• RQ2 非構造的知識をタスク指向対話に効果的に統合するための鍵となるサブタスクは何か？
• RQ3 外部知識の統合が、応答の質と情報量にどのように影響を与えるか？
• RQ4 知識探索検出、選択、応答生成を共同でモデリングすることで、どの程度の性能向上が達成できるか？
• RQ5 既存のニューラル手法および従来の手法が、新たなAPIカバレッジ外の設定にどの程度一般化できるか？

主な発見

• 提案された拡張済みMultiWOZ 2.1データセットは、外部知識に基づくAPIカバレッジ外のユーザー要求を効果的に捉えており、新たな研究分野を可能にしている。
• 知識探索ターン検出、知識選択、応答生成のベースラインモデルは測定可能な性能を示しており、提案されたフレームワークの実現可能性を裏付けている。
• 3つのサブタスクを共同でモデリングすることで、独立したモデリングに比べて性能が向上しており、タスク間の相関関係が示唆されている。
• ニューラルベースラインは、知識選択および応答生成において従来手法を上回り、この分野におけるディープラーニングの潜在的可能性を示している。
• 現在のシステムでは非構造的知識を十分に処理できていないことが確認され、本分野におけるさらなる研究の必要性が強調されている。
• 外部知識の統合により、特にAPIカバレッジ外の複雑またはレアなクエリに対して、応答の情報量が顕著に向上している。