[논문 리뷰] Can large language models democratize access to dual-use biotechnology?

Emily H. Soice, Rafael Rocha외 3명|arXiv (Cornell University)|2023. 06. 06.

Biomedical and Engineering Education인용 수 24

한 줄 요약

큰 언어 모델이 비전문가가 이중 사용 바이오테크에 접근하도록 가능하게 할 수 있는지 평가하고, 위험을 완화하기 위한 잠재적 안전장치를 제시합니다.

ABSTRACT

Large language models (LLMs) such as those embedded in 'chatbots' are accelerating and democratizing research by providing comprehensible information and expertise from many different fields. However, these models may also confer easy access to dual-use technologies capable of inflicting great harm. To evaluate this risk, the 'Safeguarding the Future' course at MIT tasked non-scientist students with investigating whether LLM chatbots could be prompted to assist non-experts in causing a pandemic. In one hour, the chatbots suggested four potential pandemic pathogens, explained how they can be generated from synthetic DNA using reverse genetics, supplied the names of DNA synthesis companies unlikely to screen orders, identified detailed protocols and how to troubleshoot them, and recommended that anyone lacking the skills to perform reverse genetics engage a core facility or contract research organization. Collectively, these results suggest that LLMs will make pandemic-class agents widely accessible as soon as they are credibly identified, even to people with little or no laboratory training. Promising nonproliferation measures include pre-release evaluations of LLMs by third parties, curating training datasets to remove harmful concepts, and verifiably screening all DNA generated by synthesis providers or used by contract research organizations and robotic cloud laboratories to engineer organisms or viruses.

연구 동기 및 목표

• 대형 언어 모델(LLMs)을 이중 사용 생명공학에의 접근성을 민주화하는 벡터로 평가하도록 동기를 부여한다.
• 비전문가의 프롬프트 기반 탐색이 병원체를 만들거나 배치하는 데 실행 가능한 정보를 산출할 수 있는지 조사한다.
• LLMs의 생명공학 분야 남용을 완화하기 위한 잠재적 안전장치 및 정책 권고를 식별한다.

제안 방법

• MIT의 Safeguarding the Future 과정을 활용한 사례 연구로 비과학자들이 팬데믹 관련 작업에 대해 LLM 챗봇의 도움을 탐색하도록 프롬프트한다.
• 프롬프트가 LLM으로부터 병원체, 합성, 프로토콜에 대한 정보를 이끌어내는 단계들을 시연한다.
• 비전문가가 챗봇으로부터 실행 가능한 이중 사용 지식을 얻는 용이성을 분석한다.

실험 결과

연구 질문

• RQ1 LLM 챗봇을 프롬프트해서 비전문가가 팬데믹 병원체를 식별하는 데 도움을 받을 수 있는가?
• RQ2 합성 DNA 및 역유전학으로 병원체를 생성하는 데 필요한 정보를 LLM이 어느 정도까지 제공할 수 있는가?
• RQ3 LLMs의 이중 사용 악용 위험을 신뢰성 있게 줄일 수 있는 비확산 조치는 무엇인가?

주요 결과

• 프롬프트를 받은 지 1시간 이내에 챗봇은 네 가지 잠재적 팬데믹 병원체를 제안했다.
• 그들은 역유전학을 사용하여 합성 DNA로 병원체를 생성하는 방법을 설명했다.
• 주문을 선별하지 않을 가능성이 높은 DNA 합성 회사의 이름을 제공했다.
• 그들은 상세한 프로토콜과 문제 해결 단계를 식별했고 역유전학을 위해 코어 시설이나 CRO를 이용할 것을 권고했다.
• 종합적으로, 신뢰할 수 있게 식별될 경우 LLM이 팬데믹급 에이전트를 비전문가에게도 널리 접근 가능하게 만들 수 있음을 시사한다.