[논문 리뷰] RapidRead: Global Deployment of State-of-the-art Radiology AI for a Large Veterinary Teleradiology Practice

Michael Fitzke, Conrad Stack외 8명|arXiv (Cornell University)|2021. 11. 09.

AI in cancer detection인용 수 5

한 줄 요약

이 논문은 250만 건 이상의 이미지에서 자기학습된 사전 훈련을 통해 NLP로 유도된 레이블을 결합한 반감독 학습 접근법을 사용하여 개와 고양이의 레이저 영상에서 41종의 방사선학적 소견을 자동으로 감지하는 딥러닝 시스템 RapidRead를 제시한다. 이 시스템은 글로벌 원격영상진료 환경에 구현되어 높은 성능을 발휘하였으며, 데이터 드리프트 탐지 및 임상 피드백 루프를 통해 수의사 임상 현장에서 확장 가능하고 신뢰할 수 있는 AI 통합을 실현하였다.

ABSTRACT

This work describes the development and real-world deployment of a deep learning-based AI system for evaluating canine and feline radiographs across a broad range of findings and abnormalities. We describe a new semi-supervised learning approach that combines NLP-derived labels with self-supervised training leveraging more than 2.5 million x-ray images. Finally we describe the clinical deployment of the model including system architecture, real-time performance evaluation and data drift detection.

연구 동기 및 목표

• 수의학 영상진료 전문가의 글로벌 부족을 해결하기 위해 방사선 영상의 진단 해석을 자동화하기 위해 AI를 도입한다.
• 이전 수의학 AI 시스템의 한계인 작은 데이터셋, 다중 기관 검증 부족, 실세계 적용 데이터 부재 문제를 해결한다.
• 임상 워크플로우에서 데이터 분포 변화가 발생하더라도 성능을 유지할 수 있는 확장 가능한, 생산 환경에 적합한 AI 시스템을 개발한다.
• 전문가가 레이블을 제공하지 않는 실시간 추론과 피드백 루프를 구현하여 고속도의 원격영상진료 플랫폼에서의 적용을 가능하게 한다.
• 수의학 및 인간 의료 영상진료 분야에서 AI의 장기적 모니터링 및 임상 적용을 위한 프레임워크를 수립한다.

제안 방법

• 250만 건 이상의 수의학 영상에서 자기학습된 대비 기반 사전 훈련과 함께 영상의학 보고서에서 추출한 NLP 레이블을 결합한 반감독 학습 프레임워크를 사용하였다.
• 교사 모델의 가짜 레이블을 기반으로 학습하는 학생 네트워크를 활용한 노이즈 학생 정규화 기법을 도입하여 모델의 강건성을 향상시켰다.
• 이미지의 복잡도 및 잡음 탐지 기반의 데이터 필터링 파이프라인을 구현하여 저품질 또는 관련 없는 영상 스터디를 제거하였다.
• Redis를 사용한 일시적 저장소를 통한 영상 수준의 예측 처리와 CLIPS를 활용한 규칙 기반의 결과 해석 파이프라인을 통해 실시간 추론 파이프라인을 구축하였다.
• 수의사가 새로운 사례를 구조화된 형식으로 레이블링하는 피드백 루프를 통합하여 지속적인 모델 재학습과 능동 학습을 가능하게 하였다.
• 전문가 레이블 데이터 접근 없이도 이미지 특징의 머신러닝 표현을 활용해 데이터 드리프트를 모니터링하였으며, 분포 변화를 탐지하였다.

실험 결과

연구 질문

• RQ1 대규모 약한 레이블이 부여된 수의학 영상 데이터를 효과적으로 활용하여 고성능 진단을 달성할 수 있는 반감독 딥러닝 접근법은 가능한가?
• RQ2 가짜 레이블 기반의 데이터 정규화 기법은 자원이 제한된 임상 영상 환경에서 모델의 강건성과 일반화 능력을 어떻게 향상시키는가?
• RQ3 지속적인 전문가 레이블 검증 데이터 없이도 실세계 영상진료 환경에서 데이터 드리프트를 탐지할 수 있는가?
• RQ4 다양한 글로벌 수의학 클리닉에서 고정밀도 AI 모델을 대규모로 구현할 때 발생하는 주요 시스템 설계 및 운영 과제는 무엇인가?
• RQ5 입력 데이터 분포의 변화가 시간이 지남에 따라 어떻게 모델의 장기적 성능에 영향을 주는가?

주요 결과

• 모델은 테스트 세트에서 41개의 방사선학적 소견 중 18개에 대해 AUC 점수가 0.90을 초과하여 높은 진단 성능를 보였다.
• 반감독 학습 기반의 정규화 접근법이 모델의 강건성을 크게 향상시켜, 뿌리 레이블만을 사용해 훈련한 모델 대비 오류율을 22% 감소시켰다.
• 특징 수준의 표현을 활용한 데이터 드리프트 탐지 기법이 시간이 지남에 따라 입력 영상의 분포 변화를 성공적으로 탐지하여 사전 모니터링이 가능했다.
• 생산 환경에서 모델은 1건의 영상당 평균 추론 지연이 150ms 이내로 안정적으로 유지되어 고속도 원격영상진료 네트워크에서 실시간 적용이 가능했다.
• 신규 사례에 대한 수의사의 구조화된 레이블링을 통한 피드백 루프가 지속적인 모델 개선과 임상 워크플로우 통합을 가능하게 하였다.
• 장기적 분석 결과, 환자 집단의 임상적 다양성이 데이터 드리프트 영향을 완화시키며, 시간이 지남에 따라 모델의 안정성이 향상됨을 확인하였다.