[논문 리뷰] FUTURE-AI: International consensus guideline for trustworthy and deployable artificial intelligence in healthcare

Karim Lekadir, Aasa Feragen외 118명|arXiv (Cornell University)|2023. 08. 11.

Artificial Intelligence in Healthcare and Education인용 수 38

한 줄 요약

FUTURE-AI는 신뢰할 수 있는 의료 AI를 전체 수명 주기에 걸쳐 개발, 배포, 모니터링하기 위한 여섯 가지 지침 원칙과 28가지 권고안을 포함하는 국제적 합의 기반 프레임워크를 제시합니다.

ABSTRACT

Despite major advances in artificial intelligence (AI) for medicine and healthcare, the deployment and adoption of AI technologies remain limited in real-world clinical practice. In recent years, concerns have been raised about the technical, clinical, ethical and legal risks associated with medical AI. To increase real world adoption, it is essential that medical AI tools are trusted and accepted by patients, clinicians, health organisations and authorities. This work describes the FUTURE-AI guideline as the first international consensus framework for guiding the development and deployment of trustworthy AI tools in healthcare. The FUTURE-AI consortium was founded in 2021 and currently comprises 118 inter-disciplinary experts from 51 countries representing all continents, including AI scientists, clinicians, ethicists, and social scientists. Over a two-year period, the consortium defined guiding principles and best practices for trustworthy AI through an iterative process comprising an in-depth literature review, a modified Delphi survey, and online consensus meetings. The FUTURE-AI framework was established based on 6 guiding principles for trustworthy AI in healthcare, i.e. Fairness, Universality, Traceability, Usability, Robustness and Explainability. Through consensus, a set of 28 best practices were defined, addressing technical, clinical, legal and socio-ethical dimensions. The recommendations cover the entire lifecycle of medical AI, from design, development and validation to regulation, deployment, and monitoring. FUTURE-AI is a risk-informed, assumption-free guideline which provides a structured approach for constructing medical AI tools that will be trusted, deployed and adopted in real-world practice. Researchers are encouraged to take the recommendations into account in proof-of-concept stages to facilitate future translation towards clinical practice of medical AI.

연구 동기 및 목표

• 의료 AI의 현실 세계 채택 한계를 해소하기 위해 헬스케어에서 신뢰할 수 있는 AI에 대한 공식적이고 국제적인 합의를 확립한다.
• 설계 및 개발에서 배포 및 모니터링에 이르는 전체 AI 수명 주기를 포괄하는 포괄적 프레임워크를 정의한다.
• (공정성, 보편성, 추적성, 사용성, 견고성, 설명가능성)이라는 여섯 가지 지침 원칙과 실용적인 모범 사례를 확립한다.
• 의료 AI를 임상 실무로의 번역을 촉진하기 위한 위험 정보를 반영하고 가정에 의존하지 않는 지침을 제공한다.]

제안 방법

• 51개국으로부터 구성된 118명 규모의 다학제적 국제 컨소시엄을 구성했다.
• 24개월에 걸쳐 다단계 델파이 프로세스와 온라인 합의 회의를 활용했다.
• 의학 분야에서 신뢰할 수 있는 AI와 관련된 차원을 식별하기 위한 심층 문헌 고찰을 수행했다.
• FAIR 데이터 원칙에서 영감을 받은 여섯 가지 지침 원칙을 개발했다.
• 권고안 세트를 생성하고 반복적으로 다듬었다 (54 → 22 → 30 → 최종 28).
• 머신러닝 기술 준비 수준(ML-TRL) 렌즈를 적용하여 개념 증명용과 배포 가능 AI를 구분했다.]

실험 결과

연구 질문

• RQ1 의료 분야의 신뢰할 수 있는 AI에 필요한 지침 원칙은 무엇인가?
• RQ2 AI 수명 주기 전반에 걸쳐 공정성, 보편성, 추적성, 사용성, 견고성, 설명가능성을 보장하는 구체적인 모범 사례는 무엇인가?
• RQ3 초기 연구와 임상 배포 사이에서 권고가 어떻게 달라져야 하는가(ML-TRL 구분)?
• RQ4 의학의 다양한 환경과 영역에서 국제적 합의를 어떻게 달성하고 운용화할 수 있는가?

주요 결과

• 신뢰할 수 있는 의료 AI를 위한 여섯 가지 지침 원칙을 확립했다: 공정성, 보편성, 추적성, 사용성, 견고성, 설명가능성.
• 기술적, 임상적, 법적, 사회윤리적 차원을 포괄하는 28개의 구체적 권고안을 정의했다.
• 권고안이 설계, 개발, 검증, 규제, 배포, 모니터링 등 전체 AI 수명 주기에 적용됨을 입증했다.
• 개념 증명 용과 배포 가능한 도구를 맞춤화하기 위한 ML-TRL 기반 구분을 도입했다.
• 반복적 설문, 전문가 피드백 라운드, 네 차례의 합의 온라인 회의를 통해 광범위한 국제 합의를 달성했다.