[论文解读] Many bioinformatics programming tasks can be automated with ChatGPT

Stephen Piccolo, Paul Denny+3 more|arXiv (Cornell University)|Mar 7, 2023

Software Engineering Research参考文献 62被引用 19

一句话总结

本文评估 OpenAI 的 ChatGPT 在 184 个入门生物信息学编程练习上的表现，并发现它在首次尝试就能解决大部分问题，在七次尝试内在自然语言反馈的帮助下最高可达 97.3%。

ABSTRACT

Computer programming is a fundamental tool for life scientists, allowing them to carry out many essential research tasks. However, despite a variety of educational efforts, learning to write code can be a challenging endeavor for both researchers and students in life science disciplines. Recent advances in artificial intelligence have made it possible to translate human-language prompts to functional code, raising questions about whether these technologies can aid (or replace) life scientists' efforts to write code. Using 184 programming exercises from an introductory-bioinformatics course, we evaluated the extent to which one such model -- OpenAI's ChatGPT -- can successfully complete basic- to moderate-level programming tasks. On its first attempt, ChatGPT solved 139 (75.5%) of the exercises. For the remaining exercises, we provided natural-language feedback to the model, prompting it to try different approaches. Within 7 or fewer attempts, ChatGPT solved 179 (97.3%) of the exercises. These findings have important implications for life-sciences research and education. For many programming tasks, researchers no longer need to write code from scratch. Instead, machine-learning models may produce usable solutions. Instructors may need to adapt their pedagogical approaches and assessment techniques to account for these new capabilities that are available to the general public.

研究动机与目标

• 评估 AI 是否能够为生命科学研究人员和学生减轻编码负担的需求。
• 评估 ChatGPT 使用自然语言提示完成基础到中等水平的生物信息学编程任务的能力。
• 量化通过迭代反馈对模型的改进。

提出的方法

• 以来自入门生物信息学课程的 184 个编程练习作为基准。
• 在首次尝试中测试 OpenAI 的 ChatGPT，并在多达七次尝试中通过自然语言反馈跟踪成功情况。
• 报告成功率并讨论对教育和研究实践的影响。

实验结果

研究问题

• RQ1 ChatGPT 是否能从自然语言提示中解决基础到中等水平的生物信息学编程任务？
• RQ2 迭代反馈如何影响 ChatGPT 完成练习的能力？
• RQ3 AI 辅助代码生成对生物信息学教育和研究工作流程有哪些影响？

主要发现

• 139 of 184 exercises (75.5%) 由 ChatGPT 在首次尝试解决。
• 在自然语言反馈下，该模型能够尝试不同的方法，并在七次尝试内总共解决 179 项/184 项练习（97.3%）。
• 这些结果对在生命科学研究中替代或减少手工编码以及调整教学与评估方式具有影响。
• 研究结果表明，机器学习模型可能为生物信息学中的许多编程任务产生可用的解决方案。
• 研究讨论了教育工作者如何调整教学法以考虑到这些能力。