[논문 리뷰] Control Risk for Potential Misuse of Artificial Intelligence in Science

Jiyan He, Weitao Feng외 11명|arXiv (Cornell University)|2023. 12. 11.

Artificial Intelligence in Healthcare and Education인용 수 6

한 줄 요약

이 논문은 과학 연구, 특히 화학 분야에서의 인공지능 오용 위험을 식별하고 분류하며, 과학적 AI 모델을 위한 안전 제어 시스템인 SciGuard와 안전성 평가를 위한 레드팀 기반 벤치마크인 SciMT-Safety를 제안한다. SciGuard는 양호한 작업 성능을 유지하면서도 오용 위험을 효과적으로 완화하며, 과학 분야에서의 책임감 있는 인공지능을 위한 실용적인 프레임워크를 입증한다.

ABSTRACT

The expanding application of Artificial Intelligence (AI) in scientific fields presents unprecedented opportunities for discovery and innovation. However, this growth is not without risks. AI models in science, if misused, can amplify risks like creation of harmful substances, or circumvention of established regulations. In this study, we aim to raise awareness of the dangers of AI misuse in science, and call for responsible AI development and use in this domain. We first itemize the risks posed by AI in scientific contexts, then demonstrate the risks by highlighting real-world examples of misuse in chemical science. These instances underscore the need for effective risk management strategies. In response, we propose a system called SciGuard to control misuse risks for AI models in science. We also propose a red-teaming benchmark SciMT-Safety to assess the safety of different systems. Our proposed SciGuard shows the least harmful impact in the assessment without compromising performance in benign tests. Finally, we highlight the need for a multidisciplinary and collaborative effort to ensure the safe and ethical use of AI models in science. We hope that our study can spark productive discussions on using AI ethically in science among researchers, practitioners, policymakers, and the public, to maximize benefits and minimize the risks of misuse.

연구 동기 및 목표

• 과학 연구, 특히 화학 분야에서의 인공지능 오용 가능성을 인식시키기 위해 노력한다.
• 유해 물질 생성 및 규제 회피와 같은 실제 사례를 포함하여 인공지능 오용의 위험을 분류하고 설명한다.
• 과학적 AI 모델의 오용 위험을 제어하기 위한 시스템인 SciGuard를 개발한다.
• 과학적 AI 시스템의 안전성을 평가하기 위한 레드팀 벤치마크인 SciMT-Safety를 구축한다.
• 인공지능을 과학 분야에 윤리적이고 안전하게 도입하기 위해 다학제적 협업을 촉진한다.

제안 방법

• 과학적 AI의 오용 위험을 아홉 가지 유형으로 분류한다: 유해 물질 생성, 재사용, 규제 회피, 뜻하지 않은 영향, 오해의 소지가 있는 정보, 부정확성, 지적 재산권 문제, 개인정보 유출, 편향.
• 화학 과학 분야의 실제 사례를 통해 오용 위험을 입증한다. 예를 들어, 인공지능이 생성한 유해 화합물이나 불법 약물 합성 경로.
• 과학적 AI 모델이 유해한 출력을 생성할 경우 이를 필터링하거나 경로를 변경하는 안전 제어 메커니즘인 SciGuard를 설계한다.
• 과학적 AI 시스템을 대상으로 오용 조건을 시험하기 위해 악성 프롬프트를 포함한 레드팀 기반 벤치마크인 SciMT-Safety를 개발한다.
• SciMT-Safety를 사용하여 SciGuard를 평가하고, 표준 과학 벤치마크에서의 성능 유지와 함께 유해 출력 차단 능력을 측정한다.
• GPT-4와 같은 대규모 언어 모델 및 전문 모델(예: Med-PaLM, ChemCrow)을 평가 파이프라인에 통합하여 다양한 과학적 응용 분야에서의 안전성 평가를 수행한다.

실험 결과

연구 질문

• RQ1 과학 연구에서의 인공지능 모델과 관련된 주요 오용 위험 유형은 무엇인가?
• RQ2 기존의 화학 분야 과학적 AI 모델은 어떻게 악성 또는 비윤리적인 목적에 악용될 수 있는가?
• RQ3 SciGuard와 같은 안전 제어 시스템은 정상적인 과학적 작업 성능을 저하시키지 않으면서도 오용 위험을 효과적으로 줄일 수 있는가?
• RQ4 SciMT-Safety 벤치마크는 과학적 AI 시스템의 안전성 취약점을 식별하고 측정하는 데 얼마나 효과적인가?
• RQ5 과학 분야에서의 인공지능을 윤리적이고 책임감 있게 도입하기 위해 필요한 다학제적 협력 전략은 무엇인가?

주요 결과

• 연구는 과학적 AI에서 발생할 수 있는 아홉 가지의 명확한 오용 위험 유형을 식별하였으며, 이는 유해 물질 생성, 규제 회피, 오해의 소지가 있는 정보 포함.
• 실제 사례를 통해 화학 분야의 인공지능 모델이 유해하거나 불법적인 화합물을 설계하는 데 악용될 수 있음을 입증하며, 이는 긴급한 안전 문제를 제기한다.
• 레드팀 평가에서 SciGuard는 해로운 출력을 효과적으로 억제하며, 시험된 시스템들 중에서 가장 낮은 해로운 영향을 미쳤다.
• SciGuard는 양호한 과학적 작업에서 뛰어난 성능을 유지하며, 안전 제어가 모델의 유용성을 손상시키지 않는다는 점을 시사한다.
• SciMT-Safety 벤치마크는 안전 취약점을 효과적으로 식별하고 과학적 맥락에서의 인공지능 안전성 평가를 체계적으로 가능하게 한다.
• 연구는 연구자, 정책 입안자, 산업계가 참여하는 통합적이고 다학제적 노력이 과학 분야에서의 인공지능 사용을 윤리적으로 책임감 있게 다스리기 위해 필수적임을 강조한다.