[논문 리뷰] Comparative study of deep learning methods for the automatic segmentation of lung, lesion and lesion type in CT scans of COVID-19 patients

Sofie Tilborghs, Ine Dirks외 20명|arXiv (Cornell University)|2020. 07. 29.

COVID-19 diagnosis using AI인용 수 14

한 줄 요약

이 연구는 다중 기관 데이터셋을 사용하여 코로나19 CT 영상에서 폐, 병변 및 병변 유형의 자동 분할을 위한 12종의 딥러닝 방법을 평가한다. 앙상블 모델이 성능을 크게 향상시켜 폐 분할의 평균 DSC는 0.982, 이진 병변 분할은 0.724, 다중 클래스 병변 분할은 0.469를 기록하였으며, 병변 부피 오차는 인간 평가자 변동성 이하로 나타나 병변 정량화에 임상적으로 활용 가능함을 시사한다.

ABSTRACT

Recent research on COVID-19 suggests that CT imaging provides useful information to assess disease progression and assist diagnosis, in addition to help understanding the disease. There is an increasing number of studies that propose to use deep learning to provide fast and accurate quantification of COVID-19 using chest CT scans. The main tasks of interest are the automatic segmentation of lung and lung lesions in chest CT scans of confirmed or suspected COVID-19 patients. In this study, we compare twelve deep learning algorithms using a multi-center dataset, including both open-source and in-house developed algorithms. Results show that ensembling different methods can boost the overall test set performance for lung segmentation, binary lesion segmentation and multiclass lesion segmentation, resulting in mean Dice scores of 0.982, 0.724 and 0.469, respectively. The resulting binary lesions were segmented with a mean absolute volume error of 91.3 ml. In general, the task of distinguishing different lesion types was more difficult, with a mean absolute volume difference of 152 ml and mean Dice scores of 0.369 and 0.523 for consolidation and ground glass opacity, respectively. All methods perform binary lesion segmentation with an average volume error that is better than visual assessment by human raters, suggesting these methods are mature enough for a large-scale evaluation for use in clinical practice.

연구 동기 및 목표

• 코로나19 CT 영상에서 폐, 병변 및 병변 유형을 분할하는 데 있어 12종의 딥러닝 방법의 성능을 체계적으로 비교하는 것.
• 내부 및 공개 딥러닝 모델의 다중 기관에서의 강건성과 일반화 능력을 평가하는 것.
• 앙상블 방법이 이진 및 다중 클래스 병변 분할의 정확도 향상에 기여하는지 확인하는 것.
• 자동 분할의 임상적 타당성을 평가하기 위해 부피 오차를 인간 영상 해석자 성능과 비교하는 것.
• 모든 개발된 방법의 코드를 공개하여 재현성 및 임상 적용을 지원하는 것.

제안 방법

• 10개 기관에서 수집한 100건의 CT 영상 다중 기관 데이터셋을 사용하였으며, 폐, 이진 병변 및 5종의 병변 유형(GGO, CON, CPP, COM, OAT)에 대한 주석이 제공되었다.
• 7종의 내부 모델(DMLu, WASS, 2DS, UNWM, 2DRnx, DMmc, DMLo)과 4종의 공개 모델(CTA, JoHof, InfNet, CovidENet)을 평가하였으며, 내부 모델은 5겹 교차검증을, 공개 모델은 외부 검증 세트를 사용하였다.
• 성능 평가 지표로는 Dice 유사도 계수(DSC), 95% 백분위수 히우스도르프 거리(HD95), 평균 표면 차이(ASD), 평균 부피 차이(AVD)를 사용하였다.
• 다양한 모델의 예측을 결합하기 위해 다수결 투표 방식의 앙상블 방법을 적용하여 모든 분할 작업에서 강건성과 성능 향상을 달성하였다.
• 검증 세트는 학습 데이터와 독립적이었으며, 다른 기관 및 주석 도구를 사용한 케이스를 포함하여 일반화 능력 확보 및 데이터 泄露 방지를 위해 설계되었다.
• 모든 모델는 총 병변 부피 예측에 대해 평가되었으며, 이전 연구에서 보고된 인간 평가자 변동성과 비교하여 결과를 분석하였다.

실험 결과

연구 질문

• RQ1 다중 기관 코로나19 CT 영상에서 다양한 딥러닝 모델이 폐, 이진 병변 및 다중 클래스 병변 유형 분할에 어떻게 성능을 내는가?
• RQ2 다수의 딥러닝 모델을 앙상블하면 다양한 병변 유형과 작업에서 분할 성능이 향상되는가?
• RQ3 실제 임상에서 인간 방사선의사의 오차와 비교해 볼 때 자동 분할 방법의 부피 오차는 얼마나 되는가?
• RQ4 공개 모델와 내부 개발 모델 간의 일반화 능력은 다양한 영상 기관 및 촬영 프로토콜 간에서 어떻게 평가되는가?
• RQ5 모델 예측 결과가 질병의 중증도 및 진행 상황 평가에 있어 임상적 의사결정 지원에 얼마나 기여하는가?

주요 결과

• 딥러닝 모델의 앙상블 적용으로 폐 분할의 평균 DSC는 0.982, 이진 병변 분할은 0.724, 다중 클래스 병변 분할은 0.469로 향상되었다.
• 이진 병변 분할의 평균 부피 차이(AVD)는 91.3 ml로, 이는 이전 연구에서 보고된 인간 평가자 변동성의 122 ml 이하임을 의미한다.
• 다중 클래스 분할에서는 농양성 병변(CON)의 최저 AVD가 4.87 ml, 괴사성 병변 패턴(CPP)은 37.0 ml였으며, 기저양성 병변(GGO)의 경우 AVD는 122 ml(UNWM 방법)를 기록하였다.
• 기저양성 병변(GGO)의 평균 DSC는 0.369, 농양성 병변(CON)은 0.523로 나타나 이 병변 유형 간 구분이 더 어려운 것으로 나타났다.
• 모든 자동화된 방법이 인간 평가자보다 낮은 부피 오차를 기록하여, 이들이 대규모 임상 평가에 충분히 성숙되어 있음을 시사한다.
• 내부 및 공개 구현을 포함한 12종의 모든 모델에 대한 코드는 공개되어 재현성 및 임상 통합을 지원할 것이다.