[論文レビュー] Artificial intelligence and biological misuse: Differentiating risks of language models and biological design tools

Jonas B. Sandbrink|arXiv (Cornell University)|Jun 24, 2023

Law, AI, and Intellectual Property被引用数 22

ひとこと要約

本論文はAIツールの2つのクラス—大規模言語モデル（LLMs）と生物設計ツール（BDTs）—のリスクを区別し、それらの収束がバイオセキュリティリスクを高め得ることを論じ、提案された介入を提示する。

ABSTRACT

As advancements in artificial intelligence (AI) propel progress in the life sciences, they may also enable the weaponisation and misuse of biological agents. This article differentiates two classes of AI tools that could pose such biosecurity risks: large language models (LLMs) and biological design tools (BDTs). LLMs, such as GPT-4 and its successors, might provide dual-use information and thus remove some barriers encountered by historical biological weapons efforts. As LLMs are turned into multi-modal lab assistants and autonomous science tools, this will increase their ability to support non-experts in performing laboratory work. Thus, LLMs may in particular lower barriers to biological misuse. In contrast, BDTs will expand the capabilities of sophisticated actors. Concretely, BDTs may enable the creation of pandemic pathogens substantially worse than anything seen to date and could enable forms of more predictable and targeted biological weapons. In combination, the convergence of LLMs and BDTs could raise the ceiling of harm from biological agents and could make them broadly accessible. A range of interventions would help to manage risks. Independent pre-release evaluations could help understand the capabilities of models and the effectiveness of safeguards. Options for differentiated access to such tools should be carefully weighed with the benefits of openly releasing systems. Lastly, essential for mitigating risks will be universal and enhanced screening of gene synthesis products.

研究の動機と目的

• LLMs と生物設計ツール（BDTs）によってもたらされるバイオセキュリティリスクを区別する。
• 研究室アシスタントや自律系科学ツールとして使用された場合、LLMs が悪用のハードルを下げる可能性を説明する。
• BDTs がより危険な病原体や標的型兵器の創出を可能にする方法を説明する。
• リスクを管理する介入案を提案する。リリース前評価や遺伝子合成製品のスクリーニングを含む。

提案手法

• 能力と潜在的な悪用シナリオに基づいて、LLMsとBDTsのリスク特性を比較する。
• モデルの能力とセーフガードの有効性を評価するために、独立したリリース前評価を主張する。
• ツールへの差別化されたアクセスやオープン性の考慮を含む政策オプションを検討する。
• 緩和策として遺伝子合成製品の普遍的かつ強化されたスクリーニングを推進する。
• LLMsとBDTsが併用される場合の収束効果を分析する。

実験結果

リサーチクエスチョン

• RQ1 大規模言語モデルと生物設計ツールに関連する明確なバイオセキュリティリスクは何か。
• RQ2 LLMsとBDTsの収束が生物剤による潜在的な被害をどのように高め得るか。
• RQ3 有益なAIの進歩を不当に妨げずにリスクを効果的に緩和する介入は何か。
• RQ4 生物学で用いられる強力なAIツールへのアクセスのための適切なガバナンスオプションは何か（リリース前評価およびスクリーニング手順を含む）

主な発見

• LLMs はデュアルユース情報を提供する可能性があり、研究室アシスタントや自律系科学ツールに転用された場合、生物の悪用の障壁を下げる。
• BDTsは、これまでに見られたものよりはるかに悪性のパンデミック病原体の創出を可能にし、より予測可能で標的を絞った生物兵器を支援する可能性がある。
• LLMsとBDTsの収束は、被害の最大化と危険な能力へのアクセス拡大につながり得る。
• 独立したリリース前評価はモデルの能力とセーフガードの評価に役立つ可能性がある。差別化されたアクセス方針は公開リリースの利益を検討すべきである。
• 遺伝子合成製品の強化されたスクリーニングはリスク緩和に不可欠である。