[论文解读] Can Open-Source LLMs Compete with Commercial Models? Exploring the Few-Shot Performance of Current GPT Models in Biomedical Tasks

Samy Ateia, Udo Kruschwitz|arXiv (Cornell University)|Jul 18, 2024

Scientific Computing and Data ManagementDecision Sciences被引用 3

一句话总结

本研究评估了开源大语言模型（LLM）在生物医学问答任务中是否能够与商用模型相媲美，采用检索增强生成（RAG）方法。通过使用10个示例的 few-shot 提示，Mixtral 8x7B 的表现优于零样本设置，并在 BioASQ 2024 挑战赛中达到与 GPT-4 和 Claude 3 Opus 等商用模型相当的水平，表明当使用少量示例进行微调时，开源模型在特定领域 RAG 任务中同样具备竞争力。

ABSTRACT

Commercial large language models (LLMs), like OpenAI's GPT-4 powering ChatGPT and Anthropic's Claude 3 Opus, have dominated natural language processing (NLP) benchmarks across different domains. New competing Open-Source alternatives like Mixtral 8x7B or Llama 3 have emerged and seem to be closing the gap while often offering higher throughput and being less costly to use. Open-Source LLMs can also be self-hosted, which makes them interesting for enterprise and clinical use cases where sensitive data should not be processed by third parties. We participated in the 12th BioASQ challenge, which is a retrieval augmented generation (RAG) setting, and explored the performance of current GPT models Claude 3 Opus, GPT-3.5-turbo and Mixtral 8x7b with in-context learning (zero-shot, few-shot) and QLoRa fine-tuning. We also explored how additional relevant knowledge from Wikipedia added to the context-window of the LLM might improve their performance. Mixtral 8x7b was competitive in the 10-shot setting, both with and without fine-tuning, but failed to produce usable results in the zero-shot setting. QLoRa fine-tuning and Wikipedia context did not lead to measurable performance gains. Our results indicate that the performance gap between commercial and open-source models in RAG setups exists mainly in the zero-shot setting and can be closed by simply collecting few-shot examples for domain-specific use cases. The code needed to rerun these experiments is available through GitHub.

研究动机与目标

• 评估开源大语言模型在特定领域生物医学问答任务中是否能实现与商用模型相当的性能。
• 研究 few-shot 学习对在检索增强生成（RAG）设置中开源大语言模型的影响。
• 评估 QLoRA 微调和基于维基百科的上下文增强是否能提升生物医学问答任务中的性能。
• 探索在数据隐私至关重要的企业及临床环境中部署开源模型的可行性。
• 确定通过 few-shot 提示等实用、低成本方法，开源模型是否能够缩小与商用模型之间的性能差距。

提出的方法

• 在 BioASQ 2024 RAG 设置中，评估了三种大语言模型：Mixtral 8x7B、GPT-3.5-turbo 和 Claude 3 Opus，采用零样本和 few-shot 提示方法。
• 通过 10 个示例的上下文学习，提升模型对指令的理解能力及在生物医学问题上的表现。
• 使用 QLoRA 微调方法，在特定领域的生物医学数据上对 Mixtral 8x7B 和 GPT-3.5-turbo 进行适应性调整。
• 通过添加相关维基百科片段来扩展上下文窗口，为模型提供额外知识。
• 在 BioASQ 任务 B 上评估性能，该任务涉及检索相关 PubMed 摘要并生成简洁、基于事实的答案。
• 使用标准生物医学问答指标，对比不同模型和设置下的表现，重点关注答案质量和事实一致性。

实验结果

研究问题

• RQ1 在生物医学 RAG 设置中，像 Mixtral 8x7B 这类开源大语言模型是否能实现与 GPT-4 和 Claude 3 Opus 等商用模型相当的性能？
• RQ2 与零样本推理相比，few-shot 提示是否能显著提升开源大语言模型在生物医学问答任务中的表现？
• RQ3 QLoRA 微调是否能为该领域中的开源大语言模型带来可测量的答案质量与事实一致性提升？
• RQ4 在上下文窗口中添加基于维基百科的知识是否能增强大语言模型在生物医学问答任务中的表现？
• RQ5 在临床或企业应用中，使用开源模型与商用模型相比，在成本、隐私与性能之间存在何种权衡？

主要发现

• 在 10-shot 设置下，Mixtral 8x7B 的表现与 GPT-4 和 Claude 3 Opus 等商用模型相当，优于其零样本表现。
• Mixtral 8x7B 的零样本表现不足以满足实际应用需求，尤其是在需要结构化输出时。
• 在测试设置中，QLoRA 微调并未为 Mixtral 8x7B 或 GPT-3.5-turbo 带来一致的性能提升。
• 通过维基百科知识增强上下文并未带来答案质量或检索准确性的可测量提升。
• 通过 API 托管的商用模型在速度上显著更快，且推理成本至少比同等开源部署低 30 倍。
• few-shot 提示成为缩小本领域特定 RAG 任务中开源模型与商用模型性能差距的最有效方法。