[论文解读] Cybersecurity of AI medical devices: risks, legislation, and challenges

Elisabetta Biasin, Erik Kamenjašević+1 more|arXiv (Cornell University)|Mar 6, 2023

Artificial Intelligence in Healthcare and Education被引用 4

一句话总结

本文研究了人工智能驱动医疗设备的网络安全隐患，分析了数据中毒和代码提取等威胁，并评估了欧盟的监管框架（包括MDR、NIS 2、GDPR和《人工智能法案》），指出了在事件报告和关键基础设施定义方面存在的整合难题与合规模糊性。

ABSTRACT

Medical devices and artificial intelligence systems rapidly transform healthcare provisions. At the same time, due to their nature, AI in or as medical devices might get exposed to cyberattacks, leading to patient safety and security risks. This book chapter is divided into three parts. The first part starts by setting the scene where we explain the role of cybersecurity in healthcare. Then, we briefly define what we refer to when we talk about AI that is considered a medical device by itself or supports one. To illustrate the risks such medical devices pose, we provide three examples: the poisoning of datasets, social engineering, and data or source code extraction. In the second part, the paper provides an overview of the European Union's regulatory framework relevant for ensuring the cybersecurity of AI as or in medical devices (MDR, NIS Directive, Cybersecurity Act, GDPR, the AI Act proposal and the NIS 2 Directive proposal). Finally, the third part of the paper examines possible challenges stemming from the EU regulatory framework. In particular, we look toward the challenges deriving from the two legislative proposals and their interaction with the existing legislation concerning AI medical devices' cybersecurity. They are structured as answers to the following questions: (1) how will the AI Act interact with the MDR regarding the cybersecurity and safety requirements?; (2) how should we interpret incident notification requirements from the NIS 2 Directive proposal and MDR?; and (3) what are the consequences of the evolving term of critical infrastructures? [This is a draft chapter. The final version will be available in Research Handbook on Health, AI and the Law edited by Barry Solaiman & I. Glenn Cohen, forthcoming 2023, Edward Elgar Publishing Ltd]

研究动机与目标

• 识别并分析人工智能作为或作为医疗设备组成部分所特有的网络安全隐患，包括数据中毒、社交工程攻击以及源代码窃取。
• 映射并评估现有及拟议的欧盟监管框架对人工智能医疗设备安全的规制，包括MDR、NIS指令、《网络安全法案》、GDPR以及《人工智能法案》。
• 评估《人工智能法案》与MDR在安全与网络安全要求方面可能存在的互操作性及潜在冲突。
• 澄清NIS 2指令提案与MDR中事件通知义务的解释与实施方式。
• 探讨欧盟法下关键基础设施定义的演变对人工智能医疗设备监管的影响。

提出的方法

• 通过三个典型案例（数据集中毒、社交工程、模型权重或数据外泄）对针对人工智能医疗设备的网络威胁进行系统性分析。
• 全面审查并比较相关欧盟立法，包括MDR、NIS指令、《网络安全法案》、GDPR以及拟议的《人工智能法案》与NIS 2指令。
• 通过法律与监管分析，评估《人工智能法案》与MDR之间的互动，尤其关注安全与网络安全要求方面。
• 对NIS 2指令提案与MDR中事件通知义务进行解释性分析，重点考察其一致性与潜在重叠。
• 审视欧盟法下“关键基础设施”范围的演变及其对人工智能医疗设备的影响。
• 通过针对监管互动、通知义务与基础设施定义三个核心问题的结构化回应，整合监管挑战。

实验结果

研究问题

• RQ1 《人工智能法案》将如何与MDR在定义和执行人工智能医疗设备的网络安全与安全要求方面相互作用？
• RQ2 NIS 2指令提案与MDR中的事件通知要求在实践中应如何解释与实施？
• RQ3 欧盟法下关键基础设施定义的演变将对人工智能医疗设备的监管产生何种影响？
• RQ4 拟议的《人工智能法案》与现有立法（如MDR和GDPR）之间存在哪些监管空白或重叠？
• RQ5 如数据中毒与源代码提取等新兴网络安全隐患如何挑战当前人工智能医疗设备的监管框架？

主要发现

• 人工智能医疗设备面临显著的网络安全隐患，包括数据中毒、社交工程攻击以及模型权重或源代码的未经授权提取。
• MDR与《人工智能法案》可能在人工智能医疗设备的网络安全与安全要求范围界定上造成监管重叠或冲突。
• NIS 2指令提案与MDR中的事件通知要求可能因报告阈值与时间线的差异而引发合规模糊性。
• 欧盟法下“关键基础设施”定义的演变可能扩大监管范围，使人工智能医疗设备被纳入其中，从而增加合规义务。
• GDPR、MDR与《人工智能法案》之间的互动引发了法律碎片化担忧，并可能导致各监管领域间执法不一致。
• 本文结论认为，亟需监管清晰化，以确保欧盟范围内人工智能医疗设备网络安全标准的一致性、可执行性与互操作性。