[논문 리뷰] Computer Aided Detection for Pulmonary Embolism Challenge (CAD-PE)

Germán González, Daniel Jiménez‐Carretero외 18명|arXiv (Cornell University)|2020. 03. 30.

Venous Thromboembolism Diagnosis and Management인용 수 8

한 줄 요약

이 논문은 폐색전증을 위한 컴퓨터 보조 진단을 발전시키기 위해, 폐색전증이 있는 91건의 CTPA 영상이 레이저의 정밀한 표기로 이루어진 개방형 데이터베이스인 CAD-PE 챌린지를 소개한다. 이 벤치마크에서 딥러닝을 활용한 최고의 알고리즘은 1건의 영상당 2개의 가짜 양성 결과를 기준으로 75%의 염기당 감도를 달성했으며, 이는 이전의 최고 성능을 뛰어넘는 결과로, 전역 세그멘테이션 네트워크가 전용 후보 기반 방법보다 우수하다는 것을 입증한다.

ABSTRACT

Rationale: Computer aided detection (CAD) algorithms for Pulmonary Embolism (PE) algorithms have been shown to increase radiologists' sensitivity with a small increase in specificity. However, CAD for PE has not been adopted into clinical practice, likely because of the high number of false positives current CAD software produces. Objective: To generate a database of annotated computed tomography pulmonary angiographies, use it to compare the sensitivity and false positive rate of current algorithms and to develop new methods that improve such metrics. Methods: 91 Computed tomography pulmonary angiography scans were annotated by at least one radiologist by segmenting all pulmonary emboli visible on the study. 20 annotated CTPAs were open to the public in the form of a medical image analysis challenge. 20 more were kept for evaluation purposes. 51 were made available post-challenge. 8 submissions, 6 of them novel, were evaluated on the 20 evaluation CTPAs. Performance was measured as per embolus sensitivity vs. false positives per scan curve. Results: The best algorithms achieved a per-embolus sensitivity of 75% at 2 false positives per scan (fps) or of 70% at 1 fps, outperforming the state of the art. Deep learning approaches outperformed traditional machine learning ones, and their performance improved with the number of training cases. Significance: Through this work and challenge we have improved the state-of-the art of computer aided detection algorithms for pulmonary embolism. An open database and an evaluation benchmark for such algorithms have been generated, easing the development of further improvements. Implications on clinical practice will need further research.

연구 동기 및 목표

• 알고리즘 평가를 위한 방사선의사가 표기한 폐색전증이 있는 고품질의 CTPA 영상 공개 데이터베이스를 구축하기 위해.
• 표준화된 지표를 사용하여 기존 CAD-PE 알고리즘의 성능을 평가하고 비교하기 위해.
• 감도를 높이고 가짜 양성 결과를 줄이는 데 기여하는 방법을 규명함으로써 CAD-PE 분야의 혁신을 이끌기 위해.
• 향후 폐색전증 검출 분야의 연구를 위해 재현 가능한 평가 프레임워크를 확립하기 위해.
• 현재 CAD 시스템에서 높은 가짜 양성 결과 비율이라는 임상적 장벽을 데이터 기반 알고리즘 개발을 통해 해결하기 위해.

제안 방법

• 다수의 독자 공식 합의 및 중재를 통해 91건의 CTPA 영상에 폐색전증을 표기하였다.
• 알고리즘 개발 및 평가를 위한 공개 챌린지 데이터셋으로 20건을 공개하였다.
• 주요 평가 지표로는 염기당 감도 대비 1건의 영상당 가짜 양성 결과를 사용하여, 별도의 20건 테스트 세트에서 8건의 제출물(6건의 신규 방법 포함)을 평가하였다.
• 딥러닝 모델(예: U-Net 기반 전역 세그멘테이션)과 전통적인 머신러닝(예: SVM, AdaBoost)을 비교하기 위해 활용하였다.
• 입력 표현 방식의 영향을 분석하기 위해 평면 영상 재형성 및 2D/2.5D 입력 전략을 사용하였다.
• 챌린지 이후 51건의 추가 표기 사례를 추가하여 향후 알고리즘 훈련 및 검증을 지원하였다.

실험 결과

연구 질문

• RQ1 전문가가 표기한 폐색전증이 있는 공개 가능하고 고품질의 CTPA 데이터셋이 CAD-PE 알고리즘의 성능 향상에 기여할 수 있는가?
• RQ2 딥러닝 기반 접근 방식이 CTPA 영상에서 폐색전증을 탐지하는 데 있어 전통적인 머신러닝 방법보다 우수한가?
• RQ3 학습 케이스 수와 입력 표현 방식(예: 2D 대비 2.5D 또는 재형성 영상)에 따라 CAD-PE 알고리즘의 성능는 어떻게 변화하는가?
• RQ4 전역 세그멘테이션 네트워크가 후보 기반 탐지 파이프라인에 비해 거짓 음성 결과를 줄일 수 있는가?
• RQ5 알고리즘 성능 지표가 폐색전증 분포 및 영상 특성과 같은 데이터셋 구성 요소에 얼마나 의존하는가?

주요 결과

• 최고의 성능을 보인 알고리즘은 1건의 영상당 2개의 가짜 양성 결과에서 75%의 염기당 감도를 달성했으며, 이는 이전의 최고 성능을 뛰어넘는 결과이다.
• 딥러닝 접근 방식이 전통적인 머신러닝 방법보다 우수했으며, 특히 2개 이하의 가짜 양성 결과(2 fps 이하)에서 두드러진 성능 향상을 보였다.
• U-Net 기반 전역 세그멘테이션 모델(UA-2D)이 특수 설계된 후보 중심 딥러닝 방법보다 뛰어난 성능을 보였으며, 이는 후보 선택 과정에서 거짓 음성 결과가 유발될 수 있음을 시사한다.
• 전체 20건의 챌린지 훈련 세트로 훈련된 알고리즘은 작은 서브셋으로 훈련된 알고리즘보다 유의미하게 높은 성능을 보였으며, 이는 데이터 의존성의 존재를 시사한다.
• 이전에 보고된 알고리즘의 성능가 이 새로운 벤치마크에서 테스트했을 때 상당한 차이를 보였으며, 이는 데이터셋에 따라 성능가 변화할 수 있음을 강조한다.
• 공개된 데이터베이스와 평가 프레임워크는 향후 연구 및 임상 적용의 가속화가 기대된다.