[논문 리뷰] Trust and Medical AI: The challenges we face and the expertise needed to overcome them

Thomas P. Quinn, Manisha Senadeera외 3명|arXiv (Cornell University)|2020. 08. 18.

Artificial Intelligence in Healthcare and Education참고 문헌 26인용 수 4

한 줄 요약

이 논문은 디지털 의학 분야에서 개념적, 기술적, 인문학적 과제를 해결하기 위해 개발자, 검증자, 운영 인력의 세 가지 전문화된 전문가 그룹을 구축할 것을 제안한다. 인증된 교육 프로그램과 거버넌스 프레임워크를 통해 저자들은 전문가 주도의 개발, 검증, 임상 통합을 통해 의료 인공지능과 의료 기관에 대한 신뢰를 유지할 수 있다고 주장한다.

ABSTRACT

Artificial intelligence (AI) is increasingly of tremendous interest in the medical field. However, failures of medical AI could have serious consequences for both clinical outcomes and the patient experience. These consequences could erode public trust in AI, which could in turn undermine trust in our healthcare institutions. This article makes two contributions. First, it describes the major conceptual, technical, and humanistic challenges in medical AI. Second, it proposes a solution that hinges on the education and accreditation of new expert groups who specialize in the development, verification, and operation of medical AI technologies. These groups will be required to maintain trust in our healthcare institutions.

연구 동기 및 목표

• 의료 분야에서의 안전하고 신뢰할 수 있는 인공지능 배포를 저해하는 주요 개념적, 기술적, 인문학적 과제를 특정하고 해결하기.
• 의료 인공지능의 책임 있는 개발과 통합을 보장하기 위해 개발자, 검증자, 운영 인력의 세 전문가 그룹에 중심을 둔 거버넌스 모델을 제안하기.
• 의료 인공지능에 대한 대중의 신뢰를 유지할 수 있는 능력을 갖춘 새로운 노동력 구축을 위해 디지털 의학 분야의 공식화된 교육과 자격 인증을 촉진하기.
• 편향, 적대적 공격, 데이터 泄露 등의 위험을 사전에 관리하여 의료 기관에 대한 신뢰가 약화되는 것을 방지하기.
• 의료 분야의 인공지능 거버넌스를 약물에 적용되는 것과 유사한 증거 기반 의학과 규제 기준(예: FDA)에 맞추기.

제안 방법

• 개발자(인공지능 설계), 검증자(성능 평가), 운영 인력(임상 현장에서의 구현 및 모니터링)의 세 수준 전문가 프레임워크 제안.
• 컴퓨터 과학자와 임상의 간의 다학제적 협력을 통해 의료적 관련성과 기술적 실현 가능성을 확보하기.
• 컴퓨터 과학, 헬스 과학, 의료 윤리학을 통합한 학부 및 대학원 과정을 통해 디지털 의학 분야의 공식 자격 인증을 추진하기.
• 예측 정확도를 넘어서 임상 영향을 평가하기 위해 증거 기반 의학 기준(예: 인공지능 모델 평가를 위한 무작위 대조 시험)을 도입할 것을 제안하기.
• 메소드올로지적 엄밀함을 확보하기 위해 윤리적 및 사회적 영향을 포함한 다학제적 검토를 포함한 동료 검토 제도를 홍보하기.
• 의료 인공지능 시스템을 공식적으로 검증하기 위해 '튜링 스탬프' 및 규제 감시(예: FDA)와 같은 기관적 메커니즘을 도입하여 약물 안전 기준을 모방하기.

실험 결과

연구 질문

• RQ1 인공지능의 능력에 대한 개념적 오해가 임상 현장에서의 안전한 배포를 어떻게 저해할 수 있는가?
• RQ2 LSTM과 같은 인공지능 모델을 에이전시 신호와 같은 복잡한 의료 데이터에 적용할 때 발생하는 기술적 과제는 무엇이며, 어떻게 완화할 수 있는가?
• RQ3 편향, 데이터 泄露, 적대적 공격이 의료 인공지능 시스템의 신뢰성과 신뢰도를 어떻게 손상시킬 수 있는가?
• RQ4 임상의와 컴퓨터 과학자 간의 다학제적 협력이 임상적으로 관련성이 있는 인공지능 모델의 설계와 검증을 어떻게 향상시킬 수 있는가?
• RQ5 전문가 거버넌스와 임상 통합을 통해 장기적인 의료 인공지능에 대한 신뢰를 확보하기 위해 필요한 기관 및 교육 제도 개혁은 무엇인가?

주요 결과

• AI 연구에서 연구 질문과 가설을 명확히 정의하지 못하면, 예를 들어 입원 환자 데이터를 학습자료로 사용하면서도 지역 사회 선별 도구로 배포하고자 하는 의도와 어긋나는 잘못된 모델 설계로 이어질 수 있다.
• 과적합과 데이터 泄露는 분석가가 이를 제대로 이해하고 완화하지 못할 경우 성능 평가를 무효화할 수 있는 중대한 기술적 위험이다.
• AI 시스템은 특히 임상 분류나 병리생리학에서 합의가 없는 질환의 경우 훈련 데이터에 존재하는 편향을 암묵적으로 재현할 수 있다.
• 운영 인력은 인공지능 추천 사항이 모호하거나 임상적으로 관련성이 없어 이를 기피하는 경우가 많다. 이는 인간 중심 설계와 임상의의 인공지능 이해력 향상이 필수적임을 시사한다.
• 의료 분야에서의 인공지능 공식 검증은 예측 정확도를 넘어서 임상 결과를 포함해야 하며, 증거 기반 의학에서 적용되는 기준과 유사한 기준이 필요하다.
• 환자의 신뢰를 유지하고 책임감 있는 인공지능 배포를 보장하기 위해 자격 인증된 디지털 의학 프로그램과 '디지털 의사', '디지털 간호사'와 같은 전문화된 역할 창출이 필수적이다.