[논문 리뷰] Clinical acceptance of software based on artificial intelligence technologies (radiology)

С. П. Морозов, Anton V. Vladzymyrskyy외 5명|arXiv (Cornell University)|2019. 08. 01.

Artificial Intelligence in Healthcare and Education참고 문헌 1인용 수 12

한 줄 요약

이 논문은 방사선 영상 분야의 인공지능 기반 소프트웨어의 임상 테스트, 수용 및 과학적 평가를 위한 방법론적 프레임워크를 제안하며, 규제 등록을 위한 의료기기로의 등재를 지원하기 위해 정확도 및 효율성 평가에 중점을 두고 있다. 이는 표준화된 임상 시험과 성능 기준을 통한 인공지능 알고리즘 검증을 위한 절차를 제시한다.

ABSTRACT

Aim: provide a methodological framework for the process of clinical tests, clinical acceptance, and scientific assessment of algorithms and software based on the artificial intelligence (AI) technologies. Clinical tests are considered as a preparation stage for the software registration as a medical product. The authors propose approaches to evaluate accuracy and efficiency of the AI algorithms for radiology.

연구 동기 및 목표

• 임상 적용 이전에 방사선 영상 분야의 인공지능 기반 소프트웨어 평가를 위한 표준화된 절차가 부족한 문제를 해결한다.
• 의료기기로의 규제 등록을 준비하기 위한 구조화된 임상 시험 접근법을 개발한다.
• 의료 영상 분야에서 인공지능 알고리즘의 정확도 및 효율성 평가 시 과학적 엄밀성과 임상적 관련성을 확보한다.
• 규제 및 임상 적용을 지원하기 위해 방사선 영상 분야의 인공지능 시스템에 대한 재현 가능하고 투명한 평가 파이프라인을 제공한다.
• 의료기기 기준 및 임상적 필요에 부합하는 성능 기준 및 검증 기준을 수립한다.

제안 방법

• 사전 임상 검증에서 시작하여 제어된 임상 시험으로 이어지는 다단계 임상 시험 프레임워크를 제안한다.
• 진단 정확도 평가를 위해 민감도, 특이도 및 ROC 곡선 아래 면적(AUC)과 같은 성능 지표를 통합한다.
• 연구 간 일관성과 재현 가능성을 보장하기 위해 표준화된 데이터 수집 및 주석 설정 절차를 정의한다.
• 다양하고 실제 임상 영상 데이터셋을 활용한 독립적 검증을 포함하는 계층적 평가 절차를 구현한다.
• 다양한 임상 환경에서 알고리즘의 신뢰성, 일반화 능력 및 내성에 대해 통계적 방법을 적용하여 평가한다.
• 임상 성능 데이터로부터의 피드백 루프를 설정하여 알고리즘의 반복적 개선을 지원한다.

실험 결과

연구 질문

• RQ1 어떤 방법론적 프레임워크가 인공지능 기반 방사선 영상 소프트웨어의 신뢰성 있고 재현 가능한 임상 평가를 보장하는가?
• RQ2 어떻게 하면 규제 승인 이전에 인공지능 알고리즘의 정확도 및 효율성을 체계적으로 테스트할 수 있는가?
• RQ3 규제 및 의료 실무 관점에서 방사선 영상 분야의 인공지능 소프트웨어의 임상 수용 기준은 무엇인가?
• RQ4 다양한 인공지능 시스템과 영상 모odalities 간에 성능 지표를 어떻게 표준화할 수 있는가?
• RQ5 임상 검증은 연구 단계에서 규제를 받는 의료용으로의 전환을 위해 어떤 역할을 하는가?

주요 결과

• 제안된 프레임워크는 인공지능 소프트웨어의 체계적 임상 시험을 가능하게 하며, 의료기기로의 규제 등록을 위한 필수 조건으로서의 위치를 확립한다.
• AUC, 민감도, 특이도와 같은 표준화된 성능 지표는 진단 정확도 평가를 위한 객관적인 평가에 필수적이다.
• 다양하고 실제 임상 환경의 데이터셋에서의 임상 검증은 방사선 영상 분야에서 인공지능 알고리즘의 일반화 능력과 신뢰성 향상에 기여한다.
• 임상 성능 데이터로부터의 피드백을 통한 반복적 개선을 지원함으로써 프레임워크는 인공지능 모델의 개선을 가능하게 한다.
• 사전 임상 검증과 임상 시험 간의 명확한 분리가 투명성과 과학적 신뢰성을 향상시킨다.
• 이 방법론적 접근은 국제 의료기기 평가 기준과 일치하여 규제 수용을 촉진한다.