[论文解读] Evaluating the Efficacy of Interactive Language Therapy Based on LLM for High-Functioning Autistic Adolescent Psychological Counseling

Yujin Cho, Mingeon Kim+5 more|arXiv (Cornell University)|Nov 12, 2023

Autism Spectrum Disorder Research被引用 6

一句话总结

本研究评估了基于大语言模型（LLM）的互动语言治疗系统在高功能自闭症青少年中的疗效，通过一组心理健康专业人员模拟临床互动。结果显示，LLM展现出强大的同理心与适应性沟通能力，但在深度个性化和情感理解方面仍不及人类治疗师，凸显了人工智能在心理辅导中的潜力与局限。

ABSTRACT

This study investigates the efficacy of Large Language Models (LLMs) in interactive language therapy for high-functioning autistic adolescents. With the rapid advancement of artificial intelligence, particularly in natural language processing, LLMs present a novel opportunity to augment traditional psychological counseling methods. This research primarily focuses on evaluating the LLM's ability to engage in empathetic, adaptable, and contextually appropriate interactions within a therapeutic setting. A comprehensive evaluation was conducted by a panel of clinical psychologists and psychiatrists using a specially developed scorecard. The assessment covered various aspects of the LLM's performance, including empathy, communication skills, adaptability, engagement, and the ability to establish a therapeutic alliance. The study avoided direct testing with patients, prioritizing privacy and ethical considerations, and instead relied on simulated scenarios to gauge the LLM's effectiveness. The results indicate that LLMs hold significant promise as supportive tools in therapy, demonstrating strengths in empathetic engagement and adaptability in conversation. However, challenges in achieving the depth of personalization and emotional understanding characteristic of human therapists were noted. The study also highlights the importance of ethical considerations in the application of AI in therapeutic contexts. This research provides valuable insights into the potential and limitations of using LLMs in psychological counseling for autistic adolescents. It lays the groundwork for future explorations into AI's role in mental health care, emphasizing the need for ongoing development to enhance the capabilities of these models in therapeutic settings.

研究动机与目标

• 评估大语言模型（LLMs）作为高功能自闭症青少年互动语言治疗辅助工具的潜力。
• 评估LLM在模拟同理心、适应性及情境恰当的治疗互动方面的能力。
• 评估在不进行直接患者测试的情况下，使用AI增强该人群沟通能力与心理福祉的可行性。
• 识别在脆弱人群中部署AI进行心理辅导时的伦理考量。
• 通过临床评分卡建立AI在治疗环境中表现的基准。

提出的方法

• 由临床心理学家和精神科医生组成的小组，使用自研评分卡评估LLM的表现，评分维度包括同理心、沟通、适应性、参与度及治疗联盟。
• 通过模拟治疗情境评估LLM的回应，出于伦理与隐私原因避免直接患者互动。
• LLM被命名为'Baker'，其设计目标是作为具备特定行为准则的AI治疗师，包括保持用户语言偏好并避免过早提供解决方案。
• 评估重点在于对话流程、理解深度以及在不具侵入性的情况下建立关系的能力。
• 关键标准包括使用5W1H提问方式在提供解决方案前充分收集信息，以及避免转介至家庭或学校辅导员。
• 系统在严格规则下进行测试，以确保对话的真实性与治疗的一致性。

实验结果

研究问题

• RQ1 基于LLM的系统能否有效模拟高功能自闭症青少年所需的同理心与适应性治疗对话？
• RQ2 在模拟环境中，LLM在沟通、同理心与关系建立方面的表现与人类治疗师标准相比如何？
• RQ3 LLM在缺乏直接人类监督或输入的情况下，能在多大程度上维持参与度与治疗焦点？
• RQ4 LLM在复制人类治疗师所具备的情感理解深度与个性化程度方面存在哪些关键局限？
• RQ5 在神经多样性青少年中部署AI进行心理辅导时，会引发哪些伦理问题？

主要发现

• LLM在同理心参与与自适应对话方面表现优异，尤其在维持关系与根据用户线索调整回应方面表现突出。
• 该模型有效运用5W1H提问方式在提供解决方案前充分收集背景信息，从而提升了其响应的针对性与相关性。
• 尽管对话能力出色，LLM在实现专家级人类治疗师所具备的深度个性化与情感细微差别方面仍显不足。
• 该系统避免了不适当的转介至家庭或学校辅导员，严格遵循其作为独立治疗代理的角色。
• 临床评估者指出，尽管LLM能有效模拟治疗对话，但缺乏人类临床医生所具备的直觉性情感洞察力与长期关系理解能力。
• 伦理问题被明确指出，尤其涉及隐私、知情同意，以及在敏感心理健康的语境中对AI产生过度依赖的风险。