[논문 리뷰] Large-Scale Multi-Center CT and MRI Segmentation of Pancreas with Deep Learning

Zheyuan Zhang, Elif Keleş외 36명|arXiv (Cornell University)|2024. 05. 20.

Hydraulic Fracturing and Reservoir Analysis인용 수 4

한 줄 요약

이 논문은 CT 및 MRI에서 다중 중심, 다중 모odal리티의 췌장 세그멘테이션에 대해 강력하고 내성적인 성능을 보이는 딥러닝 모델인 PanSegNet을 제안한다. nnUNet과 선형 어텐션을 갖춘 트랜스포머를 융합한 아키텍처로 구성되어 있으며, CT에서 88.3%, T1W MRI에서 85.0%, T2W MRI에서 86.3%의 최신 기술 수준(Dice 점수)을 달성하였다. 또한 높은 부피 예측 정확도와 뛰어난 중심 간 일반화 성능을 확보하였다.

ABSTRACT

Automated volumetric segmentation of the pancreas on cross-sectional imaging is needed for diagnosis and follow-up of pancreatic diseases. While CT-based pancreatic segmentation is more established, MRI-based segmentation methods are understudied, largely due to a lack of publicly available datasets, benchmarking research efforts, and domain-specific deep learning methods. In this retrospective study, we collected a large dataset (767 scans from 499 participants) of T1-weighted (T1W) and T2-weighted (T2W) abdominal MRI series from five centers between March 2004 and November 2022. We also collected CT scans of 1,350 patients from publicly available sources for benchmarking purposes. We developed a new pancreas segmentation method, called PanSegNet, combining the strengths of nnUNet and a Transformer network with a new linear attention module enabling volumetric computation. We tested PanSegNet's accuracy in cross-modality (a total of 2,117 scans) and cross-center settings with Dice and Hausdorff distance (HD95) evaluation metrics. We used Cohen's kappa statistics for intra and inter-rater agreement evaluation and paired t-tests for volume and Dice comparisons, respectively. For segmentation accuracy, we achieved Dice coefficients of 88.3% (std: 7.2%, at case level) with CT, 85.0% (std: 7.9%) with T1W MRI, and 86.3% (std: 6.4%) with T2W MRI. There was a high correlation for pancreas volume prediction with R^2 of 0.91, 0.84, and 0.85 for CT, T1W, and T2W, respectively. We found moderate inter-observer (0.624 and 0.638 for T1W and T2W MRI, respectively) and high intra-observer agreement scores. All MRI data is made available at https://osf.io/kysnj/. Our source code is available at https://github.com/NUBagciLab/PaNSegNet.

연구 동기 및 목표

• 딥러닝을 위한 공개된 고품질 췌장 MRI 데이터셋의 부족 문제를 해결한다.
• 다양한 의료기관의 CT 및 MRI 스캔에서 정확한 췌장 세그멘테이션을 수행할 수 있는 일반화된 딥러닝 모델을 개발한다.
• 췌장의 자동 볼륨 세그멘테이션을 통해 췌장 질환의 진단, 추적 관찰 및 수술 계획 수립을 지원한다.
• 이미징 프로토콜 및 스캐너 제조사의 도메인 이탈에도 불구하고, 모달리티 간 및 중심 간 일반화 성능을 향상시킨다.
• 대규모 다중 중심 MRI 데이터셋과 PanSegNet 소스 코드를 공개함으로써 오픈 사이언스를 촉진하고 의료 영상 분석 분야의 연구를 가속화한다.

제안 방법

• nnUNet 기반 3D U-Net 세그멘테이션의 장점을 살리고, 장거리 컨텍스트 모델링을 위한 새로운 선형 어텐션 메커니즘을 갖춘 트랜스포머를 융합한 하이브리드 딥러닝 아키텍처인 PanSegNet을 제안한다.
• 효율적인 볼륨 계산을 가능하게 하여 메모리 및 계산 비용을 줄이면서도 3D 의료 영상에서 성능을 유지하는 선형 어텐션 모듈을 설계한다.
• 5개 기관에서 확보한 총 767건의 MRI 스캔(385건 T1W, 382건 T2W)과 공개 자료에서 확보한 1,350건의 CT 스캔으로 구성된 대규모 다중 중심 데이터셋을 활용해 모델을 훈련 및 검증한다.
• 센터 간 및 스캐너 유형 간 강도 및 시퀀스 변동을 완화하기 위해 광범위한 데이터 전처리 및 통합 조치를 적용한다.
• Dice 계수, HD95, 내·외부 평가자 간 일치도(Cohen’s kappa), 부트스트랩을 통한 쌍체 t-검정을 활용해 성능을 평가한다.
• 외부 검증을 통해 도메인 이탈에 대한 일반화 능력을 평가하기 위해 AMOS, WORD, BTCV 등의 데이터셋을 활용한 모달리티 간 및 중심 간 평가를 수행한다.

실험 결과

연구 질문

• RQ1 다양한 프로토콜과 스캐너 제조사의 다중 의료기관에서의 CT 및 MRI 스캔에서 높은 정확도의 췌장 세그멘테이션을 달성할 수 있는 딥러닝 모델이 존재하는가?
• RQ2 기존 방법과 비교해 본다면, 제안된 PanSegNet 모델은 모달리티 간(CT 대비 MRI) 및 중심 간 일반화 설정에서 어떻게 성능을 발휘하는가?
• RQ3 MRI 및 CT 영상 데이터의 도메인 이탈로 인해 성능이 얼마나 떨어지며, 이러한 이탈에도 불구하고 높은 정확도를 유지할 수 있는가?
• RQ4 예측된 췌장 부피와 진단 기준 부피 간 상관관계는 어떠한가? 임상 적용에 있어 자동 부피 측정의 신뢰성은 어느 정도인가?
• RQ5 3D U-Net 프레임워크에 선형 어텐션 메커니즘을 통합함으로써 세그멘테이션 정확도와 효율성이 대규모 볼륨 영상에서 향상되는가?

주요 결과

• PanSegNet는 CT 스캔에서 88.3% (±7.2%), T1-가중 MRI에서 85.0% (±7.9%), T2-가중 MRI에서 86.3% (±6.4%)의 Dice 계수를 기록하여 최신 기술 수준의 성능을 입증하였다.
• 부피 예측 정확도가 뛰어나 CT에서 R² = 0.91, T1W MRI에서 0.84, T2W MRI에서 0.85를 기록하여 실제값과 높은 상관관계를 보였다.
• 내부 평가자 간 일치도는 높았고, 외부 평가자 간 일치도는 중간 수준이었으며(Cohen’s kappa = 0.624 for T1W, 0.638 for T2W MRI), 신뢰할 수 있는 수동 레이블링을 확인하였다.
• 외부 검증 결과, 특히 #3, #4, #5 센터에서 도메인 이탈이 발생하여 예상치 못한 중심에서의 성능 저하가 나타났으며, 이는 도메인 일반화 기법의 필요성을 시사하였다.
• 본 연구에서는 췌장 세그멘테이션을 위한 가장 큰 공개 가능한 다중 중심 MRI 데이터셋(385건 T1W, 382건 T2W 스캔)을 공개하고, PanSegNet 소스 코드를 오픈소스로 제공하여 향후 연구를 지원하였다.
• prospective 임상 검증 및 범위(췌장 세그멘테이션에 국한)의 한계가 존재하지만, 당뇨, 만성 췌장염 및 암 추적 관찰 등 임상적 응용 분야에서 강력한 잠재력을 보여주었다.