[논문 리뷰] The Impact of Scanner Domain Shift on Deep Learning Performance in Medical Imaging: an Experimental Study

Brian H.W. Guo, Darui Lu외 5명|arXiv (Cornell University)|2024. 09. 06.

Radiomics and Machine Learning in Medical ImagingMedicine인용 수 3

한 줄 요약

이 연구는 MRI, CT 및 X-ray 모odal리티를 아우르는 의료 영상 분야의 딥러닝에서 스캐너 도메인 이탈을 체계적으로 평가한다. 스캐너 설정 파rameter 및 후처리의 차이로 인해 성능 저하가 심각하게 발생함을 입증하며, MRI에서 가장 심각하고, X-ray에서 중간 정도, CT에서 가장 경미한 성능 저하가 발생함을 보여주며, 임상 적용을 위한 모델 개발 및 배포 시 스캐너 변동성을 고려할 필요성을 강조한다.

ABSTRACT

Purpose: Medical images acquired using different scanners and protocols can differ substantially in their appearance. This phenomenon, scanner domain shift, can result in a drop in the performance of deep neural networks which are trained on data acquired by one scanner and tested on another. This significant practical issue is well-acknowledged, however, no systematic study of the issue is available across different modalities and diagnostic tasks. Materials and Methods: In this paper, we present a broad experimental study evaluating the impact of scanner domain shift on convolutional neural network performance for different automated diagnostic tasks. We evaluate this phenomenon in common radiological modalities, including X-ray, CT, and MRI. Results: We find that network performance on data from a different scanner is almost always worse than on same-scanner data, and we quantify the degree of performance drop across different datasets. Notably, we find that this drop is most severe for MRI, moderate for X-ray, and quite small for CT, on average, which we attribute to the standardized nature of CT acquisition systems which is not present in MRI or X-ray. We also study how injecting varying amounts of target domain data into the training set, as well as adding noise to the training data, helps with generalization. Conclusion: Our results provide extensive experimental evidence and quantification of the extent of performance drop caused by scanner domain shift in deep learning across different modalities, with the goal of guiding the future development of robust deep learning models for medical image analysis.

연구 동기 및 목표

• 다양한 의료 영상 모달리티(MRI, CT, X-ray)에서 스캐너 도메인 이탈이 딥러닝 성능에 미치는 영향을 조사하기 위해.
• 한 스캐너에서 학습한 모델이 다른 스캐너의 데이터에서 테스트될 경우 성능 저하 정도를 정량화하기 위해.
• 데이터 주입 및 데이터 증강 기법이 도메인 이탈 영향을 완화하는 데 얼마나 효과적인지 평가하기 위해.
• 특히 촬영 표준화와 관련된 모달리티별로 스캐너 도메인 이탈에 대한 민감도의 차이를 이해하기 위해.
• 이질적인 스캐너를 가진 실제 임상 환경에서 강건한 딥러닝 모델을 개발하기 위한 경험적 지침을 제공하기 위해.

제안 방법

• 한 스캐너에서의 소스 도메인 데이터로 컨volutional 신경망을 학습하고, 다른 스캐너의 타겟 도메인 데이터에서 성능을 평가함.
• 다양한 해부학적 영역과 진단 과제를 포함한 MRI, CT, X-ray 모달리티의 일곱 개의 데이터셋을 사용함.
• 도메인 일반화 능력을 평가하기 위해 훈련 세트에 점차 증가하는 비율의 타겟 도메인 데이터를 주입함.
• 훈련 이미지에 가우시안 노이즈를 추가하여 이로 인한 이방향 성능에 미치는 영향을 평가함.
• 스캐너 제조사 및 모델 간 성능을 비교하며, 이미지 촬영 파rameter 및 후처리의 차이에 중점을 둠.
• 이미지 특징 분포를 분석하고, TR, TE, 슬라이스 두께와 같은 스캐너 전용 파rameter에 대한 민감도를 평가함.

Figure 1: Seeded Training and Testing Procedure: See Section 3.1 for more details.

실험 결과

연구 질문

• RQ1 스캐너 도메인 이탈은 MRI, CT, X-ray 등의 다양한 의료 영상 모달리티에서 딥러닝 성능에 어떻게 영향을 미치는가?
• RQ2 한 스캐너에서 학습한 모델이 다른 스캐너의 데이터에서 테스트될 경우 성능 저하의 정도는 어느 정도인가?
• RQ3 훈련 중 타겟 도메인 데이터를 포함시키는 것이 스캐너 간 일반화 능력에 어떻게 영향을 미치는가?
• RQ4 훈련 데이터에 노이즈를 추가하면 이방향 스캐너 데이터에 대한 일반화 능력이 향상되는가?
• RQ5 MRI는 CT와 마찬가지로 모달리티이지만, 왜 MRI는 스캐너 도메인 이탈에 더 민감한가?

주요 결과

• 평가한 14개의 설정(데이터셋, 과제, 소스/타겟 도메인) 중 13개에서 다른 스캐너의 데이터에서 테스트할 경우 모델 성능이 저하됨.
• MRI에서 평균적으로 가장 심각한 성능 저하가 발생하였고, 그 다음으로 X-ray에서 중간 정도의 저하가 있었으며, CT는 가장 작은 저하를 보임. 이는 CT 촬영 프로토콜에서 더 높은 표준화가 이루어져 있기 때문임.
• MRI에서 성능 저하가 가장 심각한 것은 스캐너 제조사 간에 에코 타임(TE), 반복 시간(TR), 플립 앤글 등의 파rameter가 높이 변동되기 때문임.
• 타겟 도메인 데이터를 훈련 세트에 주입함으로써 일반화 능력 향상이 가능했지만, 그 정도는 모달리티와 과제에 따라 달라졌으며, MRI에서는 이러한 데이터 주입에서 가장 큰 이점을 얻음.
• 훈련 데이터에 가우시안 노이즈를 추가해도 이방향 스캐너 데이터에 대한 일반화 능력 향상이 이루어지지 않아, 단순한 데이터 증강은 도메인 이탈 완화에 부적합함을 시사함.
• 스캐너 전용 후처리 및 촬영 파rameter는 이미지 특징을 크게 변화시켜, 외관상으로는 미미한 이미지 차이일지라도 모델 성능 저하를 초래함.

Figure 2: Visualization of the change in network performance due to the test scanner domain shifting away from the training scanner domain (see Table 2 for reference). Each pair of bars is for a single modality and training set scanner manufacturer.