[論文レビュー] How much can ChatGPT really help Computational Biologists in Programming?

Chowdhury Rafeed Rahman, Limsoon Wong|arXiv (Cornell University)|Sep 17, 2023

Artificial Intelligence in Healthcare and EducationMedicine被引用数 3

ひとこと要約

本稿は、コード生成、デバッグ、リファクタリング、パイプライン開発などのプログラミングタスクにおける計算生物学におけるChatGPTの有用性を評価している。ChatGPTはコーディングワークフローを顕著に高速化し生産性を向上させるが、誤った技術的主張や誤った詳細の捏造、誤ったコードに対する過剰な自信といったリスクを伴うことが示された。したがって、バイオインフォマティクスワークフローにおいて熟練した検証と批判的監視が不可欠である。

ABSTRACT

ChatGPT, a recently developed product by openAI, is successfully leaving its mark as a multi-purpose natural language based chatbot. In this paper, we are more interested in analyzing its potential in the field of computational biology. A major share of work done by computational biologists these days involve coding up bioinformatics algorithms, analyzing data, creating pipelining scripts and even machine learning modeling and feature extraction. This paper focuses on the potential influence (both positive and negative) of ChatGPT in the mentioned aspects with illustrative examples from different perspectives. Compared to other fields of computer science, computational biology has - (1) less coding resources, (2) more sensitivity and bias issues (deals with medical data) and (3) more necessity of coding assistance (people from diverse background come to this field). Keeping such issues in mind, we cover use cases such as code writing, reviewing, debugging, converting, refactoring and pipelining using ChatGPT from the perspective of computational biologists in this paper.

研究の動機と目的

• 計算生物学の研究者がバイオインフォマティクスコードの作成、レビュー、デバッグにおいてChatGPTの実用的有用性を評価すること。
• 特に事実の正確性とコードの正しさに関して、大規模言語モデル（例：ChatGPT）を計算生物学に依存することの制限およびリスクを特定すること。
• 生成的AIをバイオインフォマティクスワークフローに責任を持って使用するための実際の例とガイドラインを提供すること。
• ChatGPTのパフォーマンスを、Codex や GitHub Copilot といった既存のツールと、文脈に特化した生物学的プログラミングタスクにおいて比較すること。
• 捏造、古くなった知識、医療およびゲノムデータ処理における潜在的なバイアスのため、人間の監視の必要性を強調すること。

提案手法

• 実際のバイオインフォマティクスユースケース（コード生成、デバッグ、データパイプライン構築など）を用いて、ChatGPTとのインタラクティブな実験を実施した。
• 既存のバイオインフォマティクスツール（例：Samtools、Pysam、PSI-BLAST）および既知の生物学的原則との比較を通じて、応答の技術的正確性を評価した。
• BAMファイルのフラグ、VAFコール、PCA対ロバストPCAといった複雑な概念の説明能力と、PythonおよびBashでの動作コード生成能力をテストした。
• 臨床データを含む感受性の高いタスク（例：血清由来DNAにおけるクローン性ヘモポエティズム）におけるChatGPTのパフォーマンスを評価し、参照や統計を捏造する傾向を分析した。
• ドキュメンテーション、エラーハンドリング、アーキテクチャ的選択（例：Pythonにおけるsubprocessの使用対シェルスクリプト）を検討することで、コード品質を分析した。
• 41件の対話トランスクルプト（レコードS1–S41）を収集・分析し、応答の信頼性、一貫性、エラーパattersを体系的に評価した。

Figure 1: Overview of ChatGPT contributing in computational biology programming workflow

実験結果

リサーチクエスチョン

• RQ1 ChatGPTは、BAMファイル処理、バリアントコール、データ可視化といったタスクに対して、正しいかつ効率的なバイオインフォマティクスコードをどの程度生成できるか？
• RQ2 BLAST、PCA、VAFコールといった複雑なバイオインフォマティクス概念について、ChatGPTの技術的説明はどの程度信頼できるか？
• RQ3 特に事実の捏造、誤った参照、誤った論理の面で、ChatGPTを計算生物学で使用する際の主なリスクは何か？
• RQ4 バイオインフォマティクス特化のシナリオにおいて、ChatGPTのパフォーマンスはCodex や GitHub Copilot といった専用のコーディングアシスタントと比べてどうか？
• RQ5 計算生物学の研究者が、データの整合性や再現性を損なわずに、ChatGPTをプログラミングワークフローにどのように最適に統合できるか？

主な発見

• ChatGPTは、Samtools や Pysam といったコアなバイオインフォマティクスツールを正確に説明し、適切な使用例やそれらの違いを正しく提示した。
• モデルは頻繁に詳細を捏造しており、例としてクローン性ヘモポエティズムが白血病症候群を引き起こすと主張するなど、臨床的およびゲノム的文脈において顕著なリスクを示した。
• 特定の統計や参照を提供するのを避け、代わりに検索用キーワードを提案する傾向があり、直接最新のデータベースや研究論文にアクセスできなかった。
• シェルスクリプトがより適切な場合でも、頻繁にPythonとsubprocessモジュールを用いたコードを生成するなど、システムレベルのスクリプト作成において文脈に即した判断が欠如していることが判明した。
• コメントを含むドキュメント化されたコードを生成したが、これは誤った論理に過剰な信頼を寄せることを助長するなど、表面的な正確性の危険性を浮き彫りにした。
• モデルの知識ベースは2021年9月までのデータに固定されており、PSI-BLASTの最新バージョンや最新のWGS価格についての質問には不適切である。