[論文レビュー] Many bioinformatics programming tasks can be automated with ChatGPT

Stephen Piccolo, Paul Denny+3 more|arXiv (Cornell University)|Mar 7, 2023

Software Engineering Research参考文献 62被引用数 19

ひとこと要約

本論文は OpenAI の ChatGPT を 184 の入門生物情報学プログラミング課題で評価し、自然言語フィードバックを用いて初回解答で多数を解き、最大で 7 回の試行内に 97.3% に達することを示している。

ABSTRACT

Computer programming is a fundamental tool for life scientists, allowing them to carry out many essential research tasks. However, despite a variety of educational efforts, learning to write code can be a challenging endeavor for both researchers and students in life science disciplines. Recent advances in artificial intelligence have made it possible to translate human-language prompts to functional code, raising questions about whether these technologies can aid (or replace) life scientists' efforts to write code. Using 184 programming exercises from an introductory-bioinformatics course, we evaluated the extent to which one such model -- OpenAI's ChatGPT -- can successfully complete basic- to moderate-level programming tasks. On its first attempt, ChatGPT solved 139 (75.5%) of the exercises. For the remaining exercises, we provided natural-language feedback to the model, prompting it to try different approaches. Within 7 or fewer attempts, ChatGPT solved 179 (97.3%) of the exercises. These findings have important implications for life-sciences research and education. For many programming tasks, researchers no longer need to write code from scratch. Instead, machine-learning models may produce usable solutions. Instructors may need to adapt their pedagogical approaches and assessment techniques to account for these new capabilities that are available to the general public.

研究の動機と目的

• ライフサイエンスの研究者や学生にとって、AI がコーディング負担を軽減できるかを評価する必要性を動機づける。
• 自然言語プロンプトを用いて、基礎〜中級レベルの生物情報学プログラミング課題を ChatGPT が完遂できるかを評価する。
• モデルへの繰り返しのフィードバックによる改善を定量化する。

提案手法

• 入門生物情報学コースの 184 個のプログラミング課題をベンチマークとして用いる。
• 初回試行での ChatGPT の性能をテストし、自然言語フィードバック後の最大7回の試行にわたる成功を追跡する。
• 成功率を報告し、教育および研究実践への影響を論じる。

実験結果

リサーチクエスチョン

• RQ1 自然言語プロンプトから基本〜中級レベルの生物情報学プログラミング課題を ChatGPT は解決できるか？
• RQ2 反復的なフィードバックが課題の完遂能力にどのような影響を与えるか？
• RQ3 AI 支援のコード生成が生物情報学の教育および研究ワークフローに与える影響は何か？

主な発見

• 184 課題中 139 課題（75.5%）を ChatGPT が初回解答で解決した。
• 自然言語フィードバックによって、モデルは異なるアプローチを試み、7回の試行内に 184 課題中 179 課題（97.3%）を解決できた。
• 結果は、生物科学研究における手動コード作成の代替・削減や教育・評価手法の調整への示唆を与える。
• 所見は、機械学習モデルが生物情報学の多くのプログラミング課題に実用的な解を生み出す可能性を示唆している。
• 研究は、教育者がこれらの能力に対応するよう教育法をどのように適応させ得るかを論じている。