[论文解读] Causal-Discovery Performance of ChatGPT in the context of Neuropathic Pain Diagnosis

Ruibo Tu, Chao Ma+1 more|arXiv (Cornell University)|Jan 24, 2023

Artificial Intelligence in Healthcare and Education被引用 16

一句话总结

本文评估了 ChatGPT 在神经性疼痛诊断中的因果发现问题的回答能力，使用一个抽样基准，发现其表现有限且不一致，存在显著的假阴性以及语言/概念方面的局限。

ABSTRACT

ChatGPT has demonstrated exceptional proficiency in natural language conversation, e.g., it can answer a wide range of questions while no previous large language models can. Thus, we would like to push its limit and explore its ability to answer causal discovery questions by using a medical benchmark (Tu et al. 2019) in causal discovery.

研究动机与目标

• 评估 ChatGPT 在医学领域（神经性疼痛）中回答因果发现问题的能力。
• 分析 ChatGPT 如何使用元信息而非观测数据来回答关于因果关系的问题。
• 识别 ChatGPT 回应中的局限性、一致性问题，以及在语言/概念理解方面的差距。

提出的方法

• 通过从神经性疼痛因果地图中抽取 50 对真实因果关系和 50 对伪因果关系来创建基准。
• 将问题格式化为 'X causes Y. Answer true or false'，使用变量对。
• 查询 ChatGPT 以判断所述关系是否为真。
• 分析回答在准确度、召回率和 F 值方面的表现。
• 检查定性与定量错误，以识别局限性的模式。

实验结果

研究问题

• RQ1 仅从元信息中，ChatGPT 是否能够可靠地识别神经性疼痛因果地图中的真实因果关系？
• RQ2 ChatGPT 在因果判断中的常见错误模式有哪些（例如假阴性、语言/区域误解）？
• RQ3 在重复查询以及跨语言或术语时，ChatGPT 的答案有多一致？

主要发现

• 在测试的因果判断中，ChatGPT 展现出高精确度但低召回率。
• 在报告的混淆矩阵中没有假阳性，但若干假阴性降低了整体性能。
• 答案随日而异，表明存在不稳定性以及模型更新对回答的潜在影响。
• ChatGPT 在区域解剖描述（如 T12 受累）以及非英语术语方面存在困难，导致错误分类。
• 部分查询产生合理或非平凡的正确回答，表明因果发现任务的潜在互补使用。
• 总体而言，当前 ChatGPT 在因果发现方面的表现有限，不适合用于明确的因果断言。