[논문 리뷰] Objective task-based evaluation of artificial intelligence-based medical imaging methods: Framework, strategies and role of the physician

Abhinav K. Jha, Kyle J. Myers외 6명|arXiv (Cornell University)|2021. 07. 09.

Radiomics and Machine Learning in Medical Imaging참고 문헌 61인용 수 7

한 줄 요약

이 논문은 PET 및 신경망 응용 분야에 중점을 두고, 인공지능 기반 의료 영상 기법을 위한 표준화되고 객관적인 작업 기반 평가 프레임워크를 제안한다. 실용적인 평가 전략을 제시하고, 연구 설계 및 해석에서 의료진의 핵심적인 역할을 강조하며, 다양한 영상 모odal리티와 인공지능 기법에 적용 가능한 이식 가능한 방법론을 제공한다.

ABSTRACT

Artificial intelligence (AI)-based methods are showing promise in multiple medical-imaging applications. Thus, there is substantial interest in clinical translation of these methods, requiring in turn, that they be evaluated rigorously. In this paper, our goal is to lay out a framework for objective task-based evaluation of AI methods. We will also provide a list of tools available in the literature to conduct this evaluation. Further, we outline the important role of physicians in conducting these evaluation studies. The examples in this paper will be proposed in the context of PET with a focus on neural-network-based methods. However, the framework is also applicable to evaluate other medical-imaging modalities and other types of AI methods.

연구 동기 및 목표

• 임상 환경에서 인공지능 기반 의료 영상 기법을 평가하기 위한 강력하고 객관적인 프레임워크를 수립하기.
• 인공지능 기법의 임상 적용이 진행됨에 따라 증가하는 신뢰할 수 있고 표준화된 평가의 필요성을 해결하기.
• 평가 결과의 임상적 관련성을 확보하기 위해 임상 과제 정의, 적절한 지표 선택, 평가 결과의 의미성 확보에 있어 의료진의 필수적 역할을 부각하기.
• 실제 구현에 도움이 되는 기존 도구 및 전략 목록을 포괄적으로 제공하기.
• PET 및 신경망을 초월해 다른 영상 모달리티와 인공지능 방법론에까지 확장 가능한 프레임워크를 제공하기.

제안 방법

• 임상적으로 관련성이 있는 진단 과제(예: 병변 탐지 또는 종양 부피 추정)에 중심을 두고 작업 기반 평가 프레임워크를 제안한다.
• 진단 성능을 정량화하기 위해 AUC(ROC 곡선 아래 면적) 및 FOM(성능 지표)와 같은 관찰자 성능 지표의 사용을 강조한다.
• 임상적 관련성을 확보하기 위해 과제 정의, 영상 해석, 지표 선택의 전 단계에서 의료진의 참여를 통합한다.
• 통제된 조건에서 AI 모델의 훈련 및 테스트를 위해 디지털 페르몬과 실제 환자 데이터의 사용을 권장한다.
• 독자 연구 및 통계 분석을 통해 AI 방법을 방사선과 전문의 및 전통적 방법과 비교하기 위한 전략을 기술한다.
• 평가 프레임워크의 구현을 지원하기 위해 문헌에서 확보한 도구 및 소프트웨어 라이브러리 목록을 제공한다.

실험 결과

연구 질문

• RQ1 인공지능 기반 의료 영상 기법은 실제 임상 과제를 반영하는 방식으로 객관적으로 평가될 수 있는가?
• RQ2 의료진은 인공지능 기반 의료 영상 평가 연구의 설계 및 해석에서 어떤 역할을 해야 하는가?
• RQ3 현재까지 인공지능 기반 의료 영상의 작업 기반 평가를 지원하기 위해 가용한 도구와 방법론은 무엇이 있는가?
• RQ4 이 평가 프레임워크는 다양한 영상 모달리티와 인공지능 아키텍처로 일반화될 수 있는가?
• RQ5 신뢰성 있고 재현 가능한 평가 결과를 보장하기 위해 핵심적인 성능 지표와 실험 설계는 무엇인가?

주요 결과

• 제안된 프레임워크는 임상적 의사결정 수요와의 일치를 보장하면서 AI 기법의 객관적이고 과제 중심의 평가를 가능하게 한다.
• 의료진의 참여는 관련성이 있는 진단 과제 정의 및 적절한 성능 지표 선택에 있어 필수적이다.
• AUC 및 FOM와 같은 지표를 사용한 작업 기반 평가가 전통적인 영상 품질 지표보다 더 임상적으로 의미 있는 결과를 제공한다.
• 프레임워크는 PET를 포함한 다양한 영상 모달리티와 딥러닝과 같은 다양한 AI 방법론에 적용 가능하다.
• 평가 과정의 구현을 지원하기 위해 기존 도구 및 소프트웨어의 포괄적인 목록이 제공된다.
• 통제된 독자 연구를 통해 AI 기법을 방사선과 전문의 및 전통적인 영상 기법과 철저히 비교할 수 있도록 프레임워크가 지원한다.