[논문 리뷰] An Overview and Case Study of the Clinical AI Model Development Life Cycle for Healthcare Systems

Charles Lu, Julia Strout외 5명|arXiv (Cornell University)|2020. 03. 02.

Artificial Intelligence in Healthcare and Education참고 문헌 12인용 수 5

한 줄 요약

이 논문은 의료 시스템을 대상으로 한 종합적이고 작업에 관계없이 적용 가능한 임상 AI 모델 개발 생애주기 프레임워크를 제시한다. 이는 3D U-Net 기반의 딥러닝 모델을 활용한 CT 영상에서 대동맥aneurysm를 탐지하는 사례 연구를 통해 구체화되었다. 이 프레임워크는 반복적 개발, 임상의가 참여하는 주기적 애너테이션, 다단계 검증을 강조하며, 데이터 및 애너테이션 품질 문제를 해결한 후 흉부 동맥류 탐지에서 높은 성능(디스 점수 0.93, 민감도 96%)을 달성하였다.

ABSTRACT

Healthcare is one of the most promising areas for machine learning models to make a positive impact. However, successful adoption of AI-based systems in healthcare depends on engaging and educating stakeholders from diverse backgrounds about the development process of AI models. We present a broadly accessible overview of the development life cycle of clinical AI models that is general enough to be adapted to most machine learning projects, and then give an in-depth case study of the development process of a deep learning based system to detect aortic aneurysms in Computed Tomography (CT) exams. We hope other healthcare institutions and clinical practitioners find the insights we share about the development process useful in informing their own model development efforts and to increase the likelihood of successful deployment and integration of AI in healthcare.

연구 동기 및 목표

• 임상 AI 모델 개발과 임상 적용 사이의 격차를 해소하기 위해, 스테이크홀더의 의견을 반영한 체계적이고 구조화된 개발 프로세스를 정의하고자 한다.
• 특히 의료 영상 분야에서 데이터 부족, 애너테이션 품질, 모델 일반화 문제를 해결하고자 한다.
• 임상 전문 지식, 데이터 거버넌스, 반복적 검증을 통합한 재사용 가능하고 유연한 프레임워크를 제공하고자 한다.
• 3D 세그멘테이션과 직경 측정을 활용한 딥러닝 시스템이 흉부 및 Abdominal CT 영상에서 대동맥류를 탐지하는 데의 가능성과 성능을 입증하고자 한다.
• 고도로 복잡한 해부학적 구조(예: 대동맥류)를 탐지하는 데 있어 애너테이션 품질 및 후처리의 반복적 개선이 임상 성능과 수용도에 미치는 중요성을 부각하고자 한다.

제안 방법

• 개발 프로세스는 체계적인 생애주기 모델을 따르며, 타당성 평가, IRB 승인을 받은 데이터 확보, 코hort 선정, 데이터 정제, 임상의 감독 하에 이루어진 애너테이션을 포함한다.
• 복합적 해부학적 영역인 복부 및 흉부 CT 영상에서 대동맥의 부피 세그멘테이션을 위해 3D U-Net 유사 아키텍처를 사용하였으며, 최대 동맥류 직경 측정을 위해 타원형 피팅을 통한 후처리를 수행하였다.
• 모델 라우팅을 위해 슬라이스 수준에서 흉부-복부 경계를 탐지하는 ResNet 기반 분류기를 훈련시켜 추론 시 동적으로 적절한 세그멘테이션 모델을 선택할 수 있도록 하였다.
• 애너테이션은 익명화된 데이터를 바탕으로 의료 전문 인력이 수행하였으며, 전문 임상의의 검토와 여러 차례 반복적인 품질 향상 과정을 거쳤다.
• 스캐너 제조사 편향 및 해부학적 복잡성 등의 문제를 해결하기 위해 반복적인 데이터 수집, 재애너테이션 및 모델 재훈련 프로세스가 포함되었다.
• 성능 평가는 표준 지표인 디스 점수, 민감도, 특이도를 사용하였으며, 배포 이전에 임상 검증 및 알파/베타 테스트를 실시하였다.

실험 결과

연구 질문

• RQ1 다양한 이해관계자가 참여하는 의료 시스템에서 임상 AI 프로젝트를 지원하기 위해 표준화되고 반복적인 개발 생애주기 프로세스를 어떻게 설계할 수 있는가?
• RQ2 의료 영상 분야에서 AI 모델을 개발할 때 데이터 확보, 애너테이션 품질, 모델 일반화 문제에서 발생하는 주요 과제는 무엇인가?
• RQ3 애너테이션 및 모델 아키텍처의 반복적 개선이 대동맥류와 같은 복잡한 해부학적 구조를 탐지하는 데 미치는 영향은 어떠한가?
• RQ4 임상의가 참여하는 검증 과정이 모델의 신뢰성과 임상적 유용성을 확보하는 데 어떤 역할을 하는가?
• RQ5 기존 임상 워크플로우 및 소프트웨어 시스템과의 통합을 통해 모델 배포를 어떻게 촉진할 수 있는가?

주요 결과

• 첫 번째 개발 반복 후, 복부 대동맥류 탐지 모델은 테스트 세트에서 디스 점수 0.9, 민감도 91%, 특이도 95%의 성능을 달성하였다.
• 애너테이션 품질 문제를 해결하고 후처리를 개선한 결과, 흉부 대동맥류 모델은 수용 기준을 초월하여 디스 점수 0.93, 민감도 96%, 특이도 95%의 성능을 보였다.
• ResNet 기반 경계 탐지 모델의 추가로, CT 영상이 적절한 세그멘테이션 모델(흉부 또는 복부)로 라우팅되는 정확도가 향상되어 추론의 신뢰성이 향상되었다.
• 첫 번째 반복에서 데이터 정제 및 애너테이션 과정에 9개월 이상이 소요되었으며, 주로 수동 검증 및 품질 관리에 시간이 할애되었다.
• 해부학적 오인 표현(예: 대동맥 뿌리 또는 아치의 과다 또는 과소 애너테이션)을 수정하기 위해 반복적인 재애너테이션과 전문 임상의의 검토가 필수적이었다.
• 최종 시스템은 1,000건의 후행적 사례를 대상으로 한 알파 및 베타 테스트를 거쳐 임상 워크플로우 소프트웨어에 성공적으로 통합되었으며, 배포 준비가 완료됨을 입증하였다.