[論文レビュー] Automated Interactive Domain-Specific Conversational Agents that Understand Human Dialogs

Yankai Zeng, Abhiramon Rajasekharan+4 more|arXiv (Cornell University)|Mar 15, 2023

Multi-Agent Systems and Negotiation被引用数 5

ひとこと要約

本論文では、GPT-3を用いた意味解析と論理ベースの常識的推論のためのs(CASP)を組み合わせることで、人間の対話を理解する自動的で対話型のドメイン特化型会話エージェント、AutoConciergeを提示する。自然言語を通じてユーザーの好みを動的に引き出すことで、Bing AIを上回る性能を発揮し、形式的推論によって正しさと一貫性を保証する。

ABSTRACT

Achieving human-like communication with machines remains a classic, challenging topic in the field of Knowledge Representation and Reasoning and Natural Language Processing. These Large Language Models (LLMs) rely on pattern-matching rather than a true understanding of the semantic meaning of a sentence. As a result, they may generate incorrect responses. To generate an assuredly correct response, one has to "understand" the semantics of a sentence. To achieve this "understanding", logic-based (commonsense) reasoning methods such as Answer Set Programming (ASP) are arguably needed. In this paper, we describe the AutoConcierge system that leverages LLMs and ASP to develop a conversational agent that can truly "understand" human dialogs in restricted domains. AutoConcierge is focused on a specific domain-advising users about restaurants in their local area based on their preferences. AutoConcierge will interactively understand a user's utterances, identify the missing information in them, and request the user via a natural language sentence to provide it. Once AutoConcierge has determined that all the information has been received, it computes a restaurant recommendation based on the user-preferences it has acquired from the human user. AutoConcierge is based on our STAR framework developed earlier, which uses GPT-3 to convert human dialogs into predicates that capture the deep structure of the dialog's sentence. These predicates are then input into the goal-directed s(CASP) ASP system for performing commonsense reasoning. To the best of our knowledge, AutoConcierge is the first automated conversational agent that can realistically converse like a human and provide help to humans based on truly understanding human utterances.

研究の動機と目的

• パターンマッチングに依存するのではなく、人間の対話を真正に理解する会話エージェントの開発を目的とする。
• 事実に基づくタスク指向の会話においてLLMの限界を補うために、正しさと一貫性を保証する論理ベースの推論を統合することを目的とする。
• エージェントが欠落している情報を特定し、自然な言語でそれを自然に要求できる、対話的で目的指向の会話の実現を目的とする。
• LLMを用いた自然言語生成と意味解析、ASPを用いた信頼性の高い常識的推論を統合したシステムの実証を目的とする。
• レストラン分野を超えて、ドメイン特化型で説明可能で信頼性の高い会話エージェントを構築するスケーラブルなフレームワークの構築を目的とする。

提案手法

• 文脈内学習を用いたGPT-3を活用し、自然言語のユーザー発話から意味を表す構造化された論理述語に変換する。
• 目的指向のs(CASP)システムを用いて、生成された述語に対して常識的推論を実行し、一貫性の有無を確認するとともに、欠落している情報を同定する。
• 会話の流れをガイドする会話知識テンプレートを用い、ユーザーの好みや推論状態に基づいてどの質問を投げかけるかを決定する。
• GPT-3を用いて、ASPで計算された応答（論理的項として）をユーザー向けの自然言語に変換する。
• 不完全または一貫性のない入力を検出すると、追加の詳細を引き出すためにフォローアップ質問を発動するフィードバックループを統合する。
• ダラスのテキサス大学が提供する実際のレストランデータベースを知識ベースとして用い、推薦を根拠づける。

実験結果

リサーチクエスチョン

• RQ1 パターンマッチングに依存せずに、会話エージェントが自然言語でユーザーの好みを動的に理解し、推論できるか？
• RQ2 LLMと論理ベースの推論をどのように統合すれば、タスク指向の会話における正しさと一貫性を保証できるか？
• RQ3 自動化されたシステムが、人間の会話に似た自然な言語による対話的質問を通じて、欠落している情報を効果的に引き出せるか？
• RQ4 このようなシステムは、事実に基づくタスクにおける信頼性と説明可能性の面で、最先端のLLMベースのチャットボットと比べてどのように差をつけるか？
• RQ5 STARフレームワークは、形式的推論を備えた自動的でドメイン特化型の会話エージェントを構築するために、どの程度他の分野へ拡張可能か？

主な発見

• AutoConciergeは、文脈内学習を用いたGPT-3を用いることで、ユーザー発話の形式的述語への変換により、発話を真正に理解している。
• s(CASP)の統合により、システムは一貫性の欠如を検出でき、欠落している情報を同定し、信頼性の高い常識的推論を実行できるようになった。
• AutoConciergeは、レストラン推薦タスクにおいてBing AIを上回り、優れた信頼性と正しさを示している。
• GPT-3を二段階で活用することで、文脈的に適切で論理的に一貫性のある自然言語の応答を生成している。
• このアーキテクチャは、エージェントがユーザーの好みを洗練させるためにフォローアップ質問を発動できる、対話的で状態保持型の会話に対応している。
• 本手法は、将来的な研究で示されたように、自動銀行出金機、受付担当者、ソーシャルボットなど、他の分野へも拡張可能である。