[論文レビュー] DiagGPT: An LLM-based and Multi-agent Dialogue System with Automatic Topic Management for Flexible Task-Oriented Dialogue

Lang Cao|arXiv (Cornell University)|Aug 15, 2023

Topic Modeling被引用数 5

ひとこと要約

DiagGPT は、自動トピック管理を用いて柔軟でタスク指向の対話を可能にする、マルチエージェント LLM ベースのシステムであり、AI が構造的な相談を主体的に行うのを支援する。医療および法的診断シナリオにおいて、標準的な LLM と比較して優れたパフォーマンスを示している。

ABSTRACT

A significant application of Large Language Models (LLMs), like ChatGPT, is their deployment as chat agents, which respond to human inquiries across a variety of domains. While current LLMs proficiently answer general questions, they often fall short in complex diagnostic scenarios such as legal, medical, or other specialized consultations. These scenarios typically require Task-Oriented Dialogue (TOD), where an AI chat agent must proactively pose questions and guide users toward specific goals or task completion. Previous fine-tuning models have underperformed in TOD and the full potential of conversational capability in current LLMs has not yet been fully explored. In this paper, we introduce DiagGPT (Dialogue in Diagnosis GPT), an innovative approach that extends LLMs to more TOD scenarios. In addition to guiding users to complete tasks, DiagGPT can effectively manage the status of all topics throughout the dialogue development. This feature enhances user experience and offers a more flexible interaction in TOD. Our experiments demonstrate that DiagGPT exhibits outstanding performance in conducting TOD with users, showing its potential for practical applications in various fields.

研究の動機と目的

• 医療や法的相談のような複雑で目的志向の対話シナリオにおける、標準的 LLM の制限を克服すること。
• ユーザーの質問に受動的に応えるのではなく、対話のトピックを積極的に管理し、タスクの完了に向けてユーザーを導くシステムを開発すること。
• 小さな微調整済みモデルのタスク指向対話における短所、例えば状態追跡の悪さや制限された推論能力を克服すること。
• LLM の推論力と理解力を活用して、実世界の専門的相談応用に適したスケーラブルで拡張可能なフレームワークを設計すること。

提案手法

• DiagGPT は、対話管理、トピック追跡、応答生成の各分野に特化した LLM ベースのエージェントを備えたマルチエージェントアーキテクチャを採用している。
• システムは、基本情報、主訴、症状持続期間などのトピックの事前定義済みチェックリストを用いて、対話の流れを構造的かつ明確に進める。
• トピックマネージャーエージェントは、ユーザーの入力に基づいて動的にトピックを選択・進行させることで、自動的なトピック進行とトピックのシフト処理を可能にする。
• 複雑な診断シナリオにおける推論力と応答品質の向上を図るため、チェーン・オブ・チーキングプロンプトとイン・コンテキスト学習を統合している。
• 内部エージェント間の協調により、能動的な質問と適応可能な対話フローが実現され、実際の専門家による相談を模倣している。
• 拡張性をサポートしており、新しいツール、ドメイン、または推論モジュールの統合が可能で、より広範な応用に適している。

Figure 1: The framework of DiagGPT . The workflow of DiagGPT consists of four stages: Thinking Topic Development, Maintaining Topic Stack, Enriching Topic, Generating Response.

実験結果

リサーチクエスチョン

• RQ1 微調整済みの小規模モデルに依存せずに、LLM ベースのマルチエージェントシステムが、タスク指向対話におけるトピック進行を効果的に管理できるか。
• RQ2 このようなシステムが、チェックリストに基づく能動的質問によって、医療や法的相談における専門家行動をどれほど効果的に模倣できるか。
• RQ3 自動トピック管理が、標準的な LLM と比較して、対話の整合性とタスク完了度にどれほど良い影響を及ぼすか。
• RQ4 特にコスト、安定性、プロンプト感受性の観点から、マルチエージェント LLM システムを実世界の対話応用に展開するうえでの主な課題は何か。

主な発見

• DiagGPT は、症状持続期間や重症度といった事前に定義されたトピックを経由して、医療相談シナリオにおけるタスク指向対話を効果的に実現した。
• チェックリストに基づくフォローアップ質問の生成により、ユーザーの指示なしに体系的な情報収集が可能になるなど、能動的な行動を示した。
• 事例研究では、ユーザーが関連する質問をした際に、自動的に「新型コロナウイルス」のトピックを導入するなど、柔軟かつ人間らしい対話の適応が可能であることが示された。
• ChatGPT などの標準的 LLM とは異なり、DiagGPT は対話の焦点と状態追跡を維持しており、複雑で複数回のやり取りを伴う状況でも目的志向の結果を達成している。
• 複数回の LLM 呼び出しと内部エージェントの協調による高コストと遅延が、スケーラビリティの課題を浮き彫りにしている。
• ユーザーの入力が曖昧な場合に、トピックマネージャーが対話の方向性を誤判断することがあり、プロンプトの洗練化と後処理の必要性が示された。

Figure 2: The prompts of Chat Agent , Topic Manager , Topic Enricher . We have included instructions to guide the AI in becoming a knowledgeable medical expert, making it applicable in medical dialogue scenarios. These instructions can be modified to suit other scenarios.