[논문 리뷰] Cybersecurity of AI medical devices: risks, legislation, and challenges

Elisabetta Biasin, Erik Kamenjašević외 1명|arXiv (Cornell University)|2023. 03. 06.

Artificial Intelligence in Healthcare and Education인용 수 4

한 줄 요약

이 논문은 인공지능 기반 의료기기의 사이버보안 위험을 분석하며, 데이터 풀링 및 코드 추출과 같은 위협을 다루고, 유럽연합의 규제 프레임워크—MDR, NIS 2, GDPR, AI 법안—을 평가하여 사고 보고 및 핵심 인프라 정의와 관련된 통합 과제와 규제의 모호함을 드러낸다.

ABSTRACT

Medical devices and artificial intelligence systems rapidly transform healthcare provisions. At the same time, due to their nature, AI in or as medical devices might get exposed to cyberattacks, leading to patient safety and security risks. This book chapter is divided into three parts. The first part starts by setting the scene where we explain the role of cybersecurity in healthcare. Then, we briefly define what we refer to when we talk about AI that is considered a medical device by itself or supports one. To illustrate the risks such medical devices pose, we provide three examples: the poisoning of datasets, social engineering, and data or source code extraction. In the second part, the paper provides an overview of the European Union's regulatory framework relevant for ensuring the cybersecurity of AI as or in medical devices (MDR, NIS Directive, Cybersecurity Act, GDPR, the AI Act proposal and the NIS 2 Directive proposal). Finally, the third part of the paper examines possible challenges stemming from the EU regulatory framework. In particular, we look toward the challenges deriving from the two legislative proposals and their interaction with the existing legislation concerning AI medical devices' cybersecurity. They are structured as answers to the following questions: (1) how will the AI Act interact with the MDR regarding the cybersecurity and safety requirements?; (2) how should we interpret incident notification requirements from the NIS 2 Directive proposal and MDR?; and (3) what are the consequences of the evolving term of critical infrastructures? [This is a draft chapter. The final version will be available in Research Handbook on Health, AI and the Law edited by Barry Solaiman & I. Glenn Cohen, forthcoming 2023, Edward Elgar Publishing Ltd]

연구 동기 및 목표

• 인공지능 또는 인공지능을 내재한 의료기기 전용 사이버보안 위험, 예를 들어 데이터 풀링, 사회공학 공격, 소스 코드 도용 등을 식별하고 분석하기.
• MDR, NIS 지침, 사이버보안법, GDPR, 그리고 AI 법안을 포함한 기존 및 제안된 EU 규제 프레임워크를 맵핑하고 평가하기.
• 안전성 및 사이버보안 요구사항 측면에서 AI 법안과 MDR 간의 상호운용성과 잠재적 충돌을 평가하기.
• NIS 2 지침 제안안과 MDR에 따른 사고 통보 의무의 해석 및 이행 방식을 명확히 하기.
• 유럽연합 법상 핵심 인프라 정의의 변화가 AI 의료기기 규제에 미치는 영향 탐색하기.

제안 방법

• 데이터셋 풀링, 사회공학 공격, 모델 가중치 또는 소스 코드 유출과 같은 세 가지 사례 연구를 통해 AI 의료기기 타깃 사이버보안 위협에 대한 체계적 분석.
• MDR, NIS 지침, 사이버보안법, GDPR, 그리고 제안된 AI 법안과 NIS 2 지침을 포함한 관련 EU 법률의 종합적 검토 및 비교.
• AI 법안과 MDR 간의 상호작용 평가를 위한 법적 및 규제 분석—특히 안전성 및 사이버보안 요구사항 측면에서.
• NIS 2 지침 제안안과 MDR에 따른 사고 통보 의무의 해석적 분석—일치성과 잠재적 중복에 초점.
• 유럽연합 법상 '핵심 인프라'의 범위 변화를 검토하고, AI 의료기기 규제에 미치는 영향 분석.
• 규제 과제를 세 가지 핵심 질문—규제 상호작용, 통보, 인프라 정의—에 대한 체계적 응답을 통해 통합 분석.

실험 결과

연구 질문

• RQ1 AI 법안은 AI 의료기기의 사이버보안 및 안전성 요구사항을 정의하고 이행하는 데 있어 MDR와 어떻게 상호작용할 것인가?
• RQ2 NIS 2 지침 제안안과 MDR에 따른 사고 통보 의무는 실무에서 어떻게 해석되고 이행되어야 하는가?
• RQ3 유럽연합 법상 핵심 인프라 정의의 변화가 AI 의료기기 규제에 어떤 영향을 미칠 것인가?
• RQ4 제안된 AI 법안과 MDR, GDPR 등의 기존 법률 간에 규제 간극 또는 중복은 무엇이 있는가?
• RQ5 데이터 풀링 및 소스 코드 추출과 같은 새로운 사이버보안 위협은 현재의 AI 의료기기 규제 프레임워크에 어떤 도전을 제기하는가?

주요 결과

• AI 의료기기는 데이터 풀링, 사회공학 공격, 모델 가중치 또는 소스 코드의 무단 유출 등의 심각한 사이버보안 위험에 노출되어 있다.
• MDR와 AI 법안은 특히 AI 의료기기의 사이버보안 및 안전성 요구사항 범위를 정의하는 데 있어 규제 겹침 또는 갈등을 일으킬 수 있다.
• NIS 2 지침 제안안과 MDR에 따른 사고 통보 의무는 기준과 보고 일정이 다를 수 있어 준수의 모호성을 초래할 수 있다.
• 유럽연합 법상 '핵심 인프라' 정의의 변화는 AI 의료기기 규제 범위를 확대하여 준수 의무를 증가시킬 수 있다.
• GDPR, MDR, 그리고 AI 법안 간의 상호작용는 법적 분열과 규제 영역 간 일관성 없는 집행에 대한 우려를 제기한다.
• 이 논문은 EU 전역에서 AI 의료기기의 일관되고 집행 가능한, 상호운용 가능한 사이버보안 기준을 확보하기 위해 규제의 명확성이 긴급히 필요하다고 결론 내린다.