[论文解读] How much can ChatGPT really help Computational Biologists in Programming?

Chowdhury Rafeed Rahman, Limsoon Wong|arXiv (Cornell University)|Sep 17, 2023

Artificial Intelligence in Healthcare and EducationMedicine被引用 3

一句话总结

本文评估了ChatGPT在计算生物学领域编程任务（如代码生成、调试、重构和工作流开发）中的实用性。结果表明，尽管ChatGPT能显著加速编码工作流并提升生产力，但其也带来了幻觉性细节、技术性错误陈述以及对错误代码的过度自信等风险，因此在生物信息学工作流中必须进行专家验证和严格监督。

ABSTRACT

ChatGPT, a recently developed product by openAI, is successfully leaving its mark as a multi-purpose natural language based chatbot. In this paper, we are more interested in analyzing its potential in the field of computational biology. A major share of work done by computational biologists these days involve coding up bioinformatics algorithms, analyzing data, creating pipelining scripts and even machine learning modeling and feature extraction. This paper focuses on the potential influence (both positive and negative) of ChatGPT in the mentioned aspects with illustrative examples from different perspectives. Compared to other fields of computer science, computational biology has - (1) less coding resources, (2) more sensitivity and bias issues (deals with medical data) and (3) more necessity of coding assistance (people from diverse background come to this field). Keeping such issues in mind, we cover use cases such as code writing, reviewing, debugging, converting, refactoring and pipelining using ChatGPT from the perspective of computational biologists in this paper.

研究动机与目标

• 评估ChatGPT在计算生物学领域编写、审查和调试生物信息学代码方面的实际效用。
• 识别依赖类似ChatGPT的大型语言模型在计算生物学中可能存在的局限性和风险，特别是在事实准确性与代码正确性方面。
• 提供真实案例和指南，以促进生成式人工智能在生物信息学工作流中的负责任使用。
• 在特定生物学编程任务中，将ChatGPT的表现与Codex和GitHub Copilot等成熟工具进行对比。
• 强调由于幻觉、过时知识以及在医学和基因组数据处理中潜在偏见的存在，人类监督的必要性。

提出的方法

• 通过真实生物信息学用例（包括代码生成、调试和数据工作流构建）与ChatGPT进行交互式实验。
• 通过与已知生物信息学工具（如Samtools、Pysam、PSI-BLAST）和既定生物学原理对比，评估响应的技术准确性。
• 测试ChatGPT解释复杂概念（如BAM文件标志、VAF检测、PCA与稳健PCA对比）的能力，并生成Python和Bash中的可运行代码。
• 评估模型在涉及临床数据的敏感任务（如cfDNA中的克隆性造血）中的表现，及其捏造参考文献或统计数据的倾向。
• 通过检查文档编写、错误处理和架构选择（如Python中使用subprocess与shell脚本的对比）来分析代码质量。
• 收集并分析41段交互记录（S1–S41），系统评估响应的可靠性、一致性及错误模式。

Figure 1: Overview of ChatGPT contributing in computational biology programming workflow

实验结果

研究问题

• RQ1 ChatGPT在BAM文件处理、变异检测和数据可视化等任务中，能在多大程度上生成正确且高效的生物信息学代码？
• RQ2 ChatGPT对BLAST、PCA和VAF检测等复杂生物信息学概念的技术解释有多可靠？
• RQ3 在计算生物学中使用ChatGPT的主要风险是什么，特别是幻觉事实、错误引用或错误逻辑方面？
• RQ4 在生物信息学特定场景下，ChatGPT的表现与Codex或GitHub Copilot等专用编码助手相比如何？
• RQ5 计算生物学家应如何最佳地将ChatGPT整合到其编程工作流中，同时不损害数据完整性或可重复性？

主要发现

• ChatGPT准确描述了Samtools和Pysam等核心生物信息学工具，提供了正确的使用场景及两者之间的区别。
• 该模型频繁出现幻觉性细节，例如声称克隆性造血会导致白血病综合征，表明在临床和基因组学语境中存在重大风险。
• ChatGPT通常不提供具体统计数据或参考文献，而是建议搜索关键词，且无法直接访问当前数据库或研究论文。
• 它经常使用Python和subprocess模块生成代码，即使使用shell脚本更为合适，表明其在系统级脚本编写中缺乏上下文感知能力。
• 尽管ChatGPT生成的代码带有良好注释，但这种表面化的正确性有时会引发对错误逻辑的错误自信，凸显了浅层正确性的危险性。
• 该模型的知识库固定在2021年9月之前，因此不适合回答关于最新发展（如PSI-BLAST最新版本或当前全基因组测序定价）的问题。