[论文解读] A Preliminary Study of o1 in Medicine: Are We Closer to an AI Doctor?

Yunfei Xie, Jianzhen Wu+7 more|arXiv (Cornell University)|Sep 23, 2024

Artificial Intelligence in Healthcare and Education被引用 14

一句话总结

本文在理解、推理和多语言性方面对 OpenAI 的 o1 模型在 37 个医疗数据集上进行评估，显示在医学理解与推理方面有所提升，但也揭示了幻觉、多语言挑战和评估指标不一致的问题。

ABSTRACT

Large language models (LLMs) have exhibited remarkable capabilities across various domains and tasks, pushing the boundaries of our knowledge in learning and cognition. The latest model, OpenAI's o1, stands out as the first LLM with an internalized chain-of-thought technique using reinforcement learning strategies. While it has demonstrated surprisingly strong capabilities on various general language tasks, its performance in specialized fields such as medicine remains unknown. To this end, this report provides a comprehensive exploration of o1 on different medical scenarios, examining 3 key aspects: understanding, reasoning, and multilinguality. Specifically, our evaluation encompasses 6 tasks using data from 37 medical datasets, including two newly constructed and more challenging question-answering (QA) tasks based on professional medical quizzes from the New England Journal of Medicine (NEJM) and The Lancet. These datasets offer greater clinical relevance compared to standard medical QA benchmarks such as MedQA, translating more effectively into real-world clinical utility. Our analysis of o1 suggests that the enhanced reasoning ability of LLMs may (significantly) benefit their capability to understand various medical instructions and reason through complex clinical scenarios. Notably, o1 surpasses the previous GPT-4 in accuracy by an average of 6.2% and 6.6% across 19 datasets and two newly created complex QA scenarios. But meanwhile, we identify several weaknesses in both the model capability and the existing evaluation protocols, including hallucination, inconsistent multilingual ability, and discrepant metrics for evaluation. We release our raw data and model outputs at https://ucsc-vlaa.github.io/o1_medicine/ for future research.

研究动机与目标

• 评估 o1 模型的增强推理是否转移到医学领域。
• 使用多样化数据集评估 o1 在医学理解、推理和多语言能力方面的表现。
• 在多项医学任务中将 o1 与 GPT-4、GPT-3.5 以及开源基线进行比较。
• 识别模型性能和当前评估协议中的弱点，以指导未来的临床人工智能发展。

提出的方法

• 组建包含 37 个数据集的广泛评估套件（35 个现有数据集 + 2 个新数据集），涵盖三大医学方面。
• 使用三种提示策略：直接提示、链式推理（CoT）以及少量示例提示；在 o1 内部含有 CoT 训练的前提下，评估 CoT 的影响。
• 在六项任务和三大方面，将 o1 与 GPT-4、GPT-3.5、MEDITRON-70B 以及 Llama3-8B 进行比较。
• 使用包括准确率、F1、BLEU、ROUGE、AlignScore 和 Mauve 的指标来评估不同任务类型（理解、推理、多语言性）。
• 结合额外提示（CoT、自洽性 Self-Consistency、反射 Prompt）分析提示对结果的影响。

实验结果

研究问题

• RQ1 与前代模型相比，o1 的内部链式推理和强化学习训练是否能改进临床理解与推理？
• RQ2 相对于 GPT-4、GPT-3.5 和开源基线，o1 在医学理解、推理和多语言任务上的表现如何？
• RQ3 在医疗场景中，o1 的局限性包括幻觉与多语言挑战等，以及评估指标如何影响模型排序？

主要发现

• o1 在理解和某些推理任务上普遍优于 GPT-4 和 GPT-3.5，覆盖大量数据集。
• 在新的 NEJMQA 和 LancetQA 任务中，o1 显示出对 GPT-4 和 GPT-3.5 的显著准确性提升。
• o1 在自由文本生成任务中实现更高的 ROUGE-1 分数，并展示出改进的摘要质量。
• 幻觉仍然是 o1 的挑战，多语言复杂场景揭示多语言推理的不足。
• 评估指标在模型之间导致排名不一致，强调需要稳健的、领域特定的评估指标。
• CoT 提示可改善 o1 的医学知识任务，尽管并非在所有任务类型上都有效。