[論文レビュー] Control Risk for Potential Misuse of Artificial Intelligence in Science

Jiyan He, Weitao Feng+11 more|arXiv (Cornell University)|Dec 11, 2023

Artificial Intelligence in Healthcare and Education被引用数 6

ひとこと要約

本稿は、科学的研究におけるAIの誤用リスクを特定・分類し、科学的AIモデルのためのセーフティ制御システムであるSciGuardと、セーフティを評価する赤チーム評価ベンチマークであるSciMT-Safetyを提案する。SciGuardは、悪用リスクを効果的に軽減しながらも、健全なタスクにおける性能を維持しており、科学分野における責任あるAIの実用的フレームワークを示している。

ABSTRACT

The expanding application of Artificial Intelligence (AI) in scientific fields presents unprecedented opportunities for discovery and innovation. However, this growth is not without risks. AI models in science, if misused, can amplify risks like creation of harmful substances, or circumvention of established regulations. In this study, we aim to raise awareness of the dangers of AI misuse in science, and call for responsible AI development and use in this domain. We first itemize the risks posed by AI in scientific contexts, then demonstrate the risks by highlighting real-world examples of misuse in chemical science. These instances underscore the need for effective risk management strategies. In response, we propose a system called SciGuard to control misuse risks for AI models in science. We also propose a red-teaming benchmark SciMT-Safety to assess the safety of different systems. Our proposed SciGuard shows the least harmful impact in the assessment without compromising performance in benign tests. Finally, we highlight the need for a multidisciplinary and collaborative effort to ensure the safe and ethical use of AI models in science. We hope that our study can spark productive discussions on using AI ethically in science among researchers, practitioners, policymakers, and the public, to maximize benefits and minimize the risks of misuse.

研究の動機と目的

• 科学的研究におけるAIの誤用の可能性についての認識を高めること。特に化学分野に焦点を当てること。
• 有害物質の生成や規制回避を含む、現実世界のAI誤用リスクを分類し、具体的に提示すること。
• 科学的AIモデルにおける誤用リスクを制御するためのSciGuardを開発すること。
• 科学的AIシステムのセーフティを評価するための赤チーム評価ベンチマークであるSciMT-Safetyを構築すること。
• 科学分野におけるAIの倫理的かつ安全な展開を確保するための多様な分野の協働を提唱すること。

提案手法

• 科学的AIにおける誤用リスクを9つのタイプに分類する：有害物質の生成、用途の転用、規制回避、予期しない影響、誤情報、不正確さ、知的財産権の侵害、個人情報漏洩、バイアス。
• 化学分野における実例を通じて誤用リスクを提示する。例：AIが生成した毒性の強い化合物や違法薬物の合成経路。
• 科学的AIモデルからの有害な出力をフィルタリングまたはリダイレクトする安全制御機構としてのSciGuardを設計する。
• 科学的AIシステムを標的とした悪意あるプロンプトを用いた赤チーム評価ベンチマークであるSciMT-Safetyを開発する。
• SciMT-Safetyを用いてSciGuardを評価し、標準的な科学的ベンチマークにおける性能を損なわせつつも、有害な出力を遮断する能力を測定する。
• GPT-4などの大規模言語モデルや、専用モデル（例：Med-PaLM、ChemCrow）を評価パイプラインに統合し、多様な科学的応用分野におけるセーフティを評価する。

実験結果

リサーチクエスチョン

• RQ1 科学的研究におけるAIモデルに関連する主な誤用リスクのカテゴリは何か？
• RQ2 既存の化学分野の科学的AIモデルは、どのようにして有害または倫理的に問題のある目的に悪用される可能性があるか？
• RQ3 SciGuardのようなセーフティ制御システムは、正当な科学的タスクにおける性能を低下させることなく、誤用リスクを効果的に低減できるか？
• RQ4 SciMT-Safetyベンチマークは、科学的AIシステムのセーフティ脆弱性を特定・測定するためにどの程度効果的か？
• RQ5 科学分野におけるAIの責任あるかつ倫理的な展開を確保するためには、どのような協働的で多様な分野の戦略が必要か？

主な発見

• 本研究では、有害物質の生成、規制回避、誤情報の拡散などを含む、科学的AIにおける9つの明確な誤用リスクのカテゴリを同定した。
• 実世界の事例により、化学分野におけるAIモデルが毒性の強い物質や違法物質の設計に悪用される可能性があることが示され、深刻なセーフティ懸念が浮き彫りになった。
• 赤チーム評価において、SciGuardは有害な出力を効果的に緩和し、比較対象のシステムの中で最も低い悪影響をもたらした。
• SciGuardは健全な科学的タスクにおいても高い性能を維持しており、セーフティ制御がモデルの有用性を損なわないことを示している。
• SciMT-Safetyベンチマークは、セーフティ脆弱性を効果的に同定し、科学的文脈におけるAIセーフティの体系的評価を可能にした。
• 本研究は、研究者、政策立案者、業界が協働して、科学分野におけるAI利用の責任ある管理を実現する必要があることを強調している。