[論文レビュー] AI Chatbots as Professional Service Agents: Developing a Professional Identity

Wenwen Li, Keqiang Shi+1 more|ArXiv.org|Jan 24, 2025

Artificial Intelligence in Healthcare and Education被引用数 3

ひとこと要約

論文は LAPI を導入する。これは理論-guided task planning（HBM）と pragmatic entropy 法を用いて AI チャットボットに専門的な医療アイデンティティを付与するフレームワークであり、ベースラインプロンプトより医療 Q&A における流暢さ、共感、患者中心性を向上させる。

ABSTRACT

With the rapid expansion of large language model (LLM) applications, there is an emerging shift in the role of LLM-based AI chatbots from serving merely as general inquiry tools to acting as professional service agents. However, current studies often overlook a critical aspect of professional service agents: the act of communicating in a manner consistent with their professional identities. This is of particular importance in the healthcare sector, where effective communication with patients is essential for achieving professional goals, such as promoting patient well-being by encouraging healthy behaviors. To bridge this gap, we propose LAPI (LLM-based Agent with a Professional Identity), a novel framework for designing professional service agent tailored for medical question-and-answer (Q\&A) services, ensuring alignment with a specific professional identity. Our method includes a theory-guided task planning process that decomposes complex professional tasks into manageable subtasks aligned with professional objectives and a pragmatic entropy method designed to generate professional and ethical responses with low uncertainty. Experiments on various LLMs show that the proposed approach outperforms baseline methods, including few-shot prompting, chain-of-thought prompting, across key metrics such as fluency, naturalness, empathy, patient-centricity, and ROUGE-L scores. Additionally, the ablation study underscores the contribution of each component to the overall effectiveness of the approach.

研究の動機と目的

• AI チャットボットを医療における一般的な問い合わせツールから専門的サービスエージェントへとシフトさせる動機づけ。
• ドメイン情報に基づく理論駆動のフレームワーク（HBM）を開発し、健康行動介入へ向けたタスク計画を導く。
• 専門的アイデンティティの整合性と倫理的・不確実性低減を実現する pragmatic entropy 最適化プロセスを用意。
• 複数の大型言語モデル（LLM）上で実データの医療 Q&A に対し、ベースライン prompting 手法より改善を示す。

提案手法

• 理論-guided task planning と pragmatic entropy を組み合わせた、専門的医療 Q&A のための LLM-based Agent with a Professional Identity（LAPI）を提案する。
• Health Belief Model（HBM）を用いて専門的目標をサブタスク（Health Behavior の Perceived Threat および Perceived Effectiveness）へ分解する。
• HBM ドメインに対して問合せ重みを割り当て、これらのドメインを反映した初期プロンプトを生成し、応答を導くための pragmatic ルールを適用する。
• pragmatic entropy による反復的なプロンプト最適化で、ルール満足度を最大化し、応答分布の不確実性を最小化する。
• 応答を LLM ベースの指標（流暢さ、整合性、自然さ、共感、患者中心性の G-EVAL）と ROUGE-L 指標で評価する。

実験結果

リサーチクエスチョン

• RQ1 医療 Q&A の LLM ベースのチャットボットに専門的アイデンティティをどのように実装できるか？
• RQ2 理論-guided タスク計画アプローチは、チャットボット応答の品質と専門的目標との整合性を改善するか？
• RQ3 pragmatic entropy 法は、ベースライン prompting よりもより専門的で倫理的に一貫した出力を生むか？

主な発見

• LAPI は複数のモデルで、ベースラインプロンプトと比較して流暢さ、整合性、自然さ、共感、患者中心性を一貫して改善する。
• LAPI は医療 Q&A 評価において ROUGE-L の recall と precision をベースラインより高く達成する。
• アブレーション研究は、Health Belief Model フレームワークと Pragmatic Entropy の両方が性能向上に寄与することを示す。
• GPT-3.5-Turbo および GPT-4 は LAPI の恩恵をより大きく受けており、より大きなモデルはこのフレームワークをより有効に活用することを示唆する。