[논문 리뷰] AI Chatbots as Professional Service Agents: Developing a Professional Identity

Wenwen Li, Keqiang Shi외 1명|ArXiv.org|2025. 01. 24.

Artificial Intelligence in Healthcare and Education인용 수 3

한 줄 요약

논문은 LAPI라는 프레임워크를 소개합니다. 이는 theory-guided task planning (HBM)과 pragmatic entropy 방법을 사용하여 AI 챗봇에게 전문 의료 정체성을 부여하고, 의료 Q&A에서 기본 프롬프트 대비 유창성, 공감, 환자 중심성을 향상시키는 프레임워크입니다.

ABSTRACT

With the rapid expansion of large language model (LLM) applications, there is an emerging shift in the role of LLM-based AI chatbots from serving merely as general inquiry tools to acting as professional service agents. However, current studies often overlook a critical aspect of professional service agents: the act of communicating in a manner consistent with their professional identities. This is of particular importance in the healthcare sector, where effective communication with patients is essential for achieving professional goals, such as promoting patient well-being by encouraging healthy behaviors. To bridge this gap, we propose LAPI (LLM-based Agent with a Professional Identity), a novel framework for designing professional service agent tailored for medical question-and-answer (Q\&A) services, ensuring alignment with a specific professional identity. Our method includes a theory-guided task planning process that decomposes complex professional tasks into manageable subtasks aligned with professional objectives and a pragmatic entropy method designed to generate professional and ethical responses with low uncertainty. Experiments on various LLMs show that the proposed approach outperforms baseline methods, including few-shot prompting, chain-of-thought prompting, across key metrics such as fluency, naturalness, empathy, patient-centricity, and ROUGE-L scores. Additionally, the ablation study underscores the contribution of each component to the overall effectiveness of the approach.

연구 동기 및 목표

• AI 챗봇을 일반 문의 도구에서 의료 분야의 전문 서비스 에이전트로 전환시키려는 동기를 제시한다.
• 도메인 정보를 포함하고 이론에 기반한 프레임워크(HBM)를 개발하여 건강행동 개입을 위한task planning을 안내한다.
• 전문가 정체성 정렬 및 윤리적이고 불확실성 낮은 응답을 보장하기 위한 pragmatic entropy 최적화 프로세스를 도입한다.
• 다양한 LLM에서 실제 의료 Q&A 데이터에 대해 기본 프롬프트 방법 대비 향상을 입증한다.

제안 방법

• LAPI(LLM-based Agent with a Professional Identity)를 제안하여 전문 의료 Q&A를 위한 이론 guided task planning과 pragmatic entropy를 결합한다.
• Health Belief Model (HBM)을 사용해 전문 목표를 서브태스크(Perceived Threat와 Perceived Effectiveness of Health Behavior)로 분해한다.
• HBM 도메인에 대한 질의 가중치를 할당하고 이 도메인을 반영한 초기 프롬트를 생성한 뒤 실용적 규칙을 적용해 응답을 유도한다.
• 프래그마틱 엔트로피를 통해 규칙 만족도를 극대화하고 응답 분포의 불확실성을 최소화하도록 프롬트를 반복적으로 최적화한다.
• 응답을 LLM 기반 지표(G-EVAL: 유창성, 일관성, 자연스러움, 공감, 환자 중심성) 및 ROUGE-L 측정을 사용해 평가한다.

실험 결과

연구 질문

• RQ1 의료 Q&A를 위한 LLM 기반 챗봇에서 전문 정체성을 어떻게 구현할 수 있는가?
• RQ2 이론 기반의 task planning 접근 방식이 챗봇 응답의 품질과 전문 목표에의 정렬성을 개선하는가?
• RQ3 pragmatic entropy 방법이 기본 프롬팅 전략보다 더 전문적이고 윤리적으로 일관된 출력을 제공하는가?

주요 결과

• LAPI는 여러 모델에서 기본 프롬트에 비해 유창성, 일관성, 자연스러움, 공감, 환자 중심성을 지속적으로 향상시켰다.
• LAPI는 의료 Q&A 평가에서 ROUGE-L 재현률과 정확도가 더 높다.
• Ablation 연구는 Health Belief Model 프레임워크와 Pragmatic Entropy가 성능에 긍정적으로 기여함을 보인다.
• GPT-3.5-Turbo와 GPT-4는 LAPI의 혜택을 더 크게 받으며, 더 큰 모델이 프레임워크를 더 잘 활용하는 것으로 보인다.