[논문 리뷰] Artificial intelligence and biological misuse: Differentiating risks of language models and biological design tools

Jonas B. Sandbrink|arXiv (Cornell University)|2023. 06. 24.

Law, AI, and Intellectual Property인용 수 22

한 줄 요약

이 논문은 두 가지 AI 도구 클래스—대형 언어 모델(LLMs)과 생물학 디자인 도구(BDTs)—의 위험을 구분하고, 이들의 수렴이 생물안보 위험을 어떻게 높일 수 있는지 논의하며, 제안된 개입책을 제시한다.

ABSTRACT

As advancements in artificial intelligence (AI) propel progress in the life sciences, they may also enable the weaponisation and misuse of biological agents. This article differentiates two classes of AI tools that could pose such biosecurity risks: large language models (LLMs) and biological design tools (BDTs). LLMs, such as GPT-4 and its successors, might provide dual-use information and thus remove some barriers encountered by historical biological weapons efforts. As LLMs are turned into multi-modal lab assistants and autonomous science tools, this will increase their ability to support non-experts in performing laboratory work. Thus, LLMs may in particular lower barriers to biological misuse. In contrast, BDTs will expand the capabilities of sophisticated actors. Concretely, BDTs may enable the creation of pandemic pathogens substantially worse than anything seen to date and could enable forms of more predictable and targeted biological weapons. In combination, the convergence of LLMs and BDTs could raise the ceiling of harm from biological agents and could make them broadly accessible. A range of interventions would help to manage risks. Independent pre-release evaluations could help understand the capabilities of models and the effectiveness of safeguards. Options for differentiated access to such tools should be carefully weighed with the benefits of openly releasing systems. Lastly, essential for mitigating risks will be universal and enhanced screening of gene synthesis products.

연구 동기 및 목표

• LLMs와 생물학적 디자인 도구(BDTs)가 제기하는 생물보안 위험을 구분한다.
• 실험실 보조 도구나 자율 과학 도구로 사용될 때 LLM이 남용의 장벽을 낮추는 방법을 설명한다.
• BDTs가 보다 위험한 병원체의 창출과 표적 무기의 가능성을 어떻게 가능하게 할 수 있는지 설명한다.
• 출시 전 평가 및 유전자 합성 제품의 선별을 포함한 위험 관리 개입을 제안한다.

제안 방법

• 능력과 남용 시나리오를 기반으로 LLM과 BDT의 위험 프로파일을 비교한다.
• 모델 능력과 안전장치의 효과를 평가하기 위한 독립적인 출시 전 평가를 주장한다.
• 도구에 대한 차등적 접근성과 개방성 고려를 포함한 정책 옵션을 논의한다.
• 완화책으로서 유전자 합성 제품의 강화된 선별을 주창한다.
• LLMs와 BDTs가 함께 사용될 때의 수렴 효과를 분석한다.

실험 결과

연구 질문

• RQ1 대형 언어 모델과 생물학적 디자인 도구에 연관된 뚜렷한 생물보안 위험은 무엇인가?
• RQ2 LLMs와 BDTs의 수렴이 생물학적 에이전트로 인한 잠재적 피해를 어떻게 증가시킬 수 있는가?
• RQ3 유익한 AI 발전을 지나치게 지연시키지 않으면서 위험을 효과적으로 완화할 수 있는 개입은 무엇인가?
• RQ4 전문적인 생물학 도구에 대한 접근(사전 출시 평가 및 선별 절차 포함)에 적합한 거버넌스 옵션은 무엇인가?

주요 결과

• LLMs는 이중 용도 정보를 제공하고 실험실 보조 도구나 자율 과학 도구로 전환될 때 생물학적 오용의 장벽을 낮출 수 있다.
• BDTs는 지금까지보다 훨씬 악화된 팬데믹 병원체의 창출을 가능하게 하고 더 예측 가능하고 표적화된 생물학적 무기를 지원할 수 있다.
• LLMs와 BDTs의 수렴은 해로운 상한선을 높이고 위험한 능력의 접근성을 확대할 수 있다.
• 독립적인 출시 전 평가는 모델 능력과 안전장치를 평가하는 데 도움이 될 수 있으며, 차등적 접근 정책은 개방적 출시의 이점을 저울질해야 한다.
• 유전자 합성 제품의 강화된 선별은 위험 완화를 위해 필수적이다.