[논문 리뷰] Many bioinformatics programming tasks can be automated with ChatGPT

Stephen Piccolo, Paul Denny외 3명|arXiv (Cornell University)|2023. 03. 07.

Software Engineering Research참고 문헌 62인용 수 19

한 줄 요약

본 논문은 OpenAI's ChatGPT를 184개의 기초 생물정보학 프로그래밍 연습 문제로 평가하고, 처음 시도에서 다수를 해결할 수 있으며 자연어 피드백을 통해 최대 7회의 시도 내에 97.3%까지 해결할 수 있음을 확인한다.

ABSTRACT

Computer programming is a fundamental tool for life scientists, allowing them to carry out many essential research tasks. However, despite a variety of educational efforts, learning to write code can be a challenging endeavor for both researchers and students in life science disciplines. Recent advances in artificial intelligence have made it possible to translate human-language prompts to functional code, raising questions about whether these technologies can aid (or replace) life scientists' efforts to write code. Using 184 programming exercises from an introductory-bioinformatics course, we evaluated the extent to which one such model -- OpenAI's ChatGPT -- can successfully complete basic- to moderate-level programming tasks. On its first attempt, ChatGPT solved 139 (75.5%) of the exercises. For the remaining exercises, we provided natural-language feedback to the model, prompting it to try different approaches. Within 7 or fewer attempts, ChatGPT solved 179 (97.3%) of the exercises. These findings have important implications for life-sciences research and education. For many programming tasks, researchers no longer need to write code from scratch. Instead, machine-learning models may produce usable solutions. Instructors may need to adapt their pedagogical approaches and assessment techniques to account for these new capabilities that are available to the general public.

연구 동기 및 목표

• 생명과학 연구자와 학생들의 코딩 부담을 AI가 줄일 수 있는지 평가할 필요성을 고취한다.
• 자연어 프롬프트를 사용하여 기본-에서 중간 수준의 생물정보학 프로그래밍 과제를 완수하는 ChatGPT의 능력을 평가한다.
• 모델에 대한 반복 피드백으로 향상된 성능을 수량화한다.

제안 방법

• 기초 생물정보학 과정의 184개 프로그래밍 연습 문제를 벤치마크로 사용한다.
• 첫 시도에서 OpenAI's ChatGPT를 테스트하고 자연어 피드백을 통한 최대 7회 시도까지 성공 여부를 추적한다.
• 성공률을 보고하고 교육 및 연구 실천에 대한 시사점을 논의한다.

실험 결과

연구 질문

• RQ1 자연어 프롬프트에서 기본-에서 중간 수준의 생물정보학 프로그래밍 과제를 ChatGPT가 해결할 수 있는가?
• RQ2 반복 피드백이 ChatGPT의 과제 완료 능력에 어떤 영향을 미치는가?
• RQ3 생물정보학 교육 및 연구 워크플로우에 대한 AI 지원 코드 생성의 시사점은 무엇인가?

주요 결과

• 139개의 184개 연습 문제(75.5%)가 ChatGPT의 첫 시도에서 해결되었다.
• 자연어 피드백으로 모델은 다양한 접근 방식을 시도하고 총 179개 184개 연습 문제(97.3%)를 7회 시도 내에 해결할 수 있었다.
• 결과는 생명과학 연구에서 수작업 코딩을 대체하거나 감소시키는 것과 교육 및 평가 방법 조정에 시사점을 준다.
• 본 연구는 기계 학습 모델이 생물정보학의 많은 프로그래밍 작업에 사용 가능한 해결책을 제시할 수 있음을 시사한다.
• 교육자들이 이러한 역량을 반영하도록 교수법을 어떻게 조정할지에 대해 논의한다.