[논문 리뷰] From Military to Healthcare: Adopting and Expanding Ethical Principles for Generative Artificial Intelligence

David Oniani, Jordan Hilsman외 6명|arXiv (Cornell University)|2023. 08. 04.

Artificial Intelligence in Healthcare and Education인용 수 5

한 줄 요약

이 논문은 의료 분야에서 생성형 AI를 윤리적으로 구현하기 위해 '거대한 윤리 원칙(GREAT PLEA)' — 거버넌스, 신뢰성, 형평성, 책임성, 추적 가능성, 개인정보 보호, 합법성, 공감, 자율성 — 을 제안한다. 군사용 AI 윤리 기준을 바탕으로 하여, 편향, 오락성 정보 유포, 인간의 통제력 상실 등의 위험을 다루기 위해 원칙을 적응 및 확장하였으며, 임상 환경에서 안전하고 형평성 있으며 환자 중심의 AI 통합을 보장하는 체계적인 프레임워크를 제공한다.

ABSTRACT

In 2020, the U.S. Department of Defense officially disclosed a set of ethical principles to guide the use of Artificial Intelligence (AI) technologies on future battlefields. Despite stark differences, there are core similarities between the military and medical service. Warriors on battlefields often face life-altering circumstances that require quick decision-making. Medical providers experience similar challenges in a rapidly changing healthcare environment, such as in the emergency department or during surgery treating a life-threatening condition. Generative AI, an emerging technology designed to efficiently generate valuable information, holds great promise. As computing power becomes more accessible and the abundance of health data, such as electronic health records, electrocardiograms, and medical images, increases, it is inevitable that healthcare will be revolutionized by this technology. Recently, generative AI has captivated the research community, leading to debates about its application in healthcare, mainly due to concerns about transparency and related issues. Meanwhile, concerns about the potential exacerbation of health disparities due to modeling biases have raised notable ethical concerns regarding the use of this technology in healthcare. However, the ethical principles for generative AI in healthcare have been understudied, and decision-makers often fail to consider the significance of generative AI. In this paper, we propose GREAT PLEA ethical principles, encompassing governance, reliability, equity, accountability, traceability, privacy, lawfulness, empathy, and autonomy, for generative AI in healthcare. We aim to proactively address the ethical dilemmas and challenges posed by the integration of generative AI in healthcare.

연구 동기 및 목표

• 생성형 AI의 윤리적 위험 증가, 예를 들어 편향, 투명성 부족, 임상의 자율성 감소 등의 문제를 해결하기 위해.
• 군사용 AI에 처음으로 개발된 윤리 원칙을 의료 환경에 적응 및 확장하여, 유사한 고위험 의사결정 상황이 발생하는 분야에 맞추기 위해.
• 임상 환경에서의 윤리적 개발 및 배포를 지원하는 포괄적이고 실행 가능한 윤리적 프레임워크를 제안하기 위해.
• 현재의 AI 시스템(대규모 언어 모델 등)의 한계를 고려하여, AI 기반 의료 상호작용에서 공감과 인간의 자율성을 유지하는 중요성을 강조하기 위해.
• 정책 입안자, 개발자, 의료 기관이 윤리적 AI 사용을 위한 기준과 거버넌스 메커니즘을 수립할 수 있는 기반을 제공하기 위해.

제안 방법

• 미국 국방부의 다섯 가지 핵심 AI 원칙 — 책임감, 형평성, 추적 가능성, 신뢰성, 거버넌스 가능성 — 을 의료 전용 프레임워크로 적응시켰다.
• 이 원칙들을 거버넌스, 신뢰성, 형평성, 책임성, 추적 가능성, 개인정보 보호, 합법성, 공감, 자율성(GREAT PLEA)의 아홉 가지 윤리적 범주로 확장하였다.
• 군사적 환경과 의료 환경 간의 비교 분석을 통해, 고압 조건에서의 고위험 의사결정 및 시스템 장애 위험 등 공통된 윤리적 과제를 파악하였다.
• 윤리 원칙이 규제 기관(예: WHO, AMA), 표준 제정, 법적 프레임워크와의 협업을 통해 이행될 수 있도록 제안하였다.
• 현재의 생성형 모델이 정서 지능에 한계를 가진다는 점을 고려하여, 임상의 자율성과 환자 공감을 유지하기 위해 인간 중심의 시스템이 필요하다고 강조하였다.
• 편향, 오락성 정보, 성능 저하를 탐지하기 위해 도메인 특화 지표를 활용한 AI 시스템의 지속적 평가가 필요하다고 주장하였다.

실험 결과

연구 질문

• RQ1 군사용 AI에 대해 개발된 윤리 원칙은 어떻게 의료 분야에 의미 있게 적응시킬 수 있는가?
• RQ2 생성형 AI는 기존 AI 윤리 프레임워크로는 충분히 다루지 못하는 임상 환경에서의 고유한 윤리적 위험을 무엇이 있는가?
• RQ3 대규모 언어 모델이 정서 지능에 빈도가 낮은 상황에서, AI 지원 의료 서비스에서 공감과 환자 자율성을 어떻게 유지할 수 있는가?
• RQ4 임상 의사결정에서 생성형 AI의 윤리적 사용을 보장하기 위해 거버넌스, 추적 가능성, 책임성이 어떤 역할을 해야 하는가?
• RQ5 정책, 표준, 기관 간 협력 등을 통해 윤리 원칙은 어떻게 실천 가능하게 할 수 있는가?

주요 결과

• GREAT PLEA 프레임워크는 편향, 오락성 정보 유포, 인간 통제력 상실 등의 위험을 다루는 데 특화된 아홉 원칙 윤리 기반을 제공한다.
• 의료 분야에서의 생성형 AI는 군사적 적용과 마찬가지로 책임성, 신뢰성, 투명성에 관한 윤리적 과제를 겪고 있으며, 특히 압박 상황에서의 성능이 중요하다.
• ChatGPT와 같은 현재의 대규모 언어 모델은 공감 능력과 정서 지능이 부족하여, 임상 AI 시스템에 전용 윤리 원칙이 필요하다.
• 자율성 원칙은 AI가 임상의 판단이나 환자 선호를 초월하지 않도록 하여 인간의 통제가 중심이 되도록 하는 데 핵심적이다.
• 오류나 편향을 탐지하고 수정하기 위해 추적 가능성과 설명 가능성은 특히 전자 의무 기록(EHR) 및 진단 보고서에서 필수적이다.
• 이 프레임워크는 사전적 위험 완화를 지원하며, 정책 입안자, 개발자, 의료 기관이 윤리 기준과 준수 메커니즘을 수립하는 데 가이드 역할을 할 수 있다.