[論文レビュー] Can large language models democratize access to dual-use biotechnology?

Emily H. Soice, Rafael Rocha+3 more|arXiv (Cornell University)|Jun 6, 2023

Biomedical and Engineering Education被引用数 24

ひとこと要約

本論文は、巨大言語モデルが非専門家による双用途バイオ技術へのアクセスを可能にするかを評価し、リスクを緩和する潜在的な安全策を提示する。

ABSTRACT

Large language models (LLMs) such as those embedded in 'chatbots' are accelerating and democratizing research by providing comprehensible information and expertise from many different fields. However, these models may also confer easy access to dual-use technologies capable of inflicting great harm. To evaluate this risk, the 'Safeguarding the Future' course at MIT tasked non-scientist students with investigating whether LLM chatbots could be prompted to assist non-experts in causing a pandemic. In one hour, the chatbots suggested four potential pandemic pathogens, explained how they can be generated from synthetic DNA using reverse genetics, supplied the names of DNA synthesis companies unlikely to screen orders, identified detailed protocols and how to troubleshoot them, and recommended that anyone lacking the skills to perform reverse genetics engage a core facility or contract research organization. Collectively, these results suggest that LLMs will make pandemic-class agents widely accessible as soon as they are credibly identified, even to people with little or no laboratory training. Promising nonproliferation measures include pre-release evaluations of LLMs by third parties, curating training datasets to remove harmful concepts, and verifiably screening all DNA generated by synthesis providers or used by contract research organizations and robotic cloud laboratories to engineer organisms or viruses.

研究の動機と目的

• 双用途バイオ技術へのアクセスを民主化する推進力としてLLMsの評価を動機づける。
• 非専門家によるプロンプトベースの探索が、病原体の作成や展開に有効な情報を生み出すかを調査する。
• LLMsのバイオ技術における悪用を緩和する潜在的な安全策と政策提言を特定する。

提案手法

• MITのSafeguarding the Futureコースを用いた事例研究で、非科学者にパンデミック関連タスクの支援を求めるようにLLMチャットボットを誘導する。
• 病原体、合成、プロトコルに関する情報をLLMsから引き出すプロンプトの手順を示す。
• 非専門家がチャットボットから実用的な双用途知識を得られる容易さを分析する。

実験結果

リサーチクエスチョン

• RQ1 LLMチャットボットを促して、非専門家がパンデミック病原体を特定するのを支援させることができるか。
• RQ2 LLMsは、合成DNAと逆遺伝学から病原体を生成する情報をどの程度提供できるか。
• RQ3 LLMsの双用途の悪用リスクを信頼性高く削減できる非拡散対策は何か。

主な発見

• チャットボットは促しを受けてから1時間以内に4つの潜在的なパンデミック病原体を示唆した。
• 彼らは逆遺伝学を用いて合成DNAから病原体を生成する方法を説明した。
• 彼らは注文を審査しそうにないDNA合成会社の名前を挙げた。
• 彼らは詳細なプロトコルとトラブルシューティング手順を特定し、逆遺伝学にはコア施設またはCROを利用することを推奨した。
• 総じて、信頼性のある特定がなされれば、LLMsはパンデミッククラスのエージェントを非専門家にも広くアクセス可能にする可能性が示唆される。