[논문 리뷰] Generalizability issues with deep learning models in medicine and their potential solutions: illustrated with Cone-Beam Computed Tomography (CBCT) to Computed Tomography (CT) image conversion

Xiao Liang, Dan Nguyen외 1명|arXiv (Cornell University)|2020. 04. 16.

AI in cancer detection참고 문헌 3인용 수 9

한 줄 요약

이 논문은 CBCT에서 CT로의 이미지 변환을 사례로 삼아, 의료 영상에서의 딥러닝 일반화 문제를 조사한다. 한 제조사의 스캐너와 해부학적 부위에서 훈련된 모델이 다른 제조사나 부위에서는 성능이 저하됨을 입증하고, 전이학습 전략(세밀조정, 병합 훈련, 대상 전용 훈련)을 제안한다. 세밀조정 전략은 제한된 대상 데이터에서 가장 뛰어난 성능을 보이며, 다양한 스캐너와 부위에서 임상적 적용이 가능하다.

ABSTRACT

Generalizability is a concern when applying a deep learning (DL) model trained on one dataset to other datasets. Training a universal model that works anywhere, anytime, for anybody is unrealistic. In this work, we demonstrate the generalizability problem, then explore potential solutions based on transfer learning (TL) by using the cone-beam computed tomography (CBCT) to computed tomography (CT) image conversion task as the testbed. Previous works have converted CBCT to CT-like images. However, all of those works studied only one or two anatomical sites and used images from the same vendor's scanners. Here, we investigated how a model trained for one machine and one anatomical site works on other machines and other sites. We trained a model on CBCT images acquired from one vendor's scanners for head and neck cancer patients and applied it to images from another vendor's scanners and for other disease sites. We found that generalizability could be a significant problem for this particular application when applying a trained DL model to datasets from another vendor's scanners. We then explored three practical solutions based on TL to solve this generalization problem: the target model, which is trained on a target domain from scratch; the combined model, which is trained on both source and target domain datasets from scratch; and the adapted model, which fine-tunes the trained source model to a target domain. We found that when there are sufficient data in the target domain, all three models can achieve good performance. When the target dataset is limited, the adapted model works the best, which indicates that using the fine-tuning strategy to adapt the trained model to an unseen target domain dataset is a viable and easy way to implement DL models in the clinic.

연구 동기 및 목표

• 한 CBCT 스캐너 제조사와 해부학적 부위에서 훈련된 딥러닝 모델이 다른 제조사 및 병변 부위에 적용되었을 때의 일반화 능력을 조사하기 위해.
• 스캐너 하드웨어 및 해부학적 영역 간 도메인 이탈을 극복하기 위한 전이학습 전략의 성능을 평가하기 위해.
• 제한된 대상 도메인 데이터를 가진 임상 환경에서 딥러닝 모델을 구현하는 데 가장 효과적인 접근 방식을 규명하기 위해.
• 다양한 의료 영상 환경에서 딥러닝 모델을 구현하기 위한 실용적이고 확장 가능한 솔루션을 제공하기 위해.

제안 방법

• 두개의 스캐너 제조사에서 수집한 헤드 앤 네크 암 환자용 CBCT 영상 데이터를 기반으로 딥러닝 모델을 훈련시켰다.
• 다른 제조사의 스캐너에서 수집한 CBCT 영상과 다른 해부학적 부위(예: 척추, Abdomen)의 영상에 대해 훈련된 모델을 적용하였다.
• 세 가지 전이학습 전략을 탐색하였다: 대상 도메인에서부터 새로운 모델을 처음부터 훈련하는 것(대상 모델), 소스 및 대상 도메인을 모두 사용하여 훈련하는 것(병합 모델), 소스 모델을 대상 도메인에 맞게 세밀조정하는 것(적응 모델).
• CBCT에서 CT로의 이미지 변환을 위해 이미지 간 번역 네트워크(예: U-Net 기반 아키텍처)를 사용하였다.
• PSNR, SSIM 및 HU 값의 구조적 유사도와 같은 정량적 지표를 사용하여 모델 성능을 평가하였다.
• 대상 도메인에서의 다양한 데이터 가용 수준에서 일반화 성능를 비교하기 위해 분석 실험을 수행하였다.

실험 결과

연구 질문

• RQ1 한 제조사의 CBCT 스캐너와 해부학적 부위에서 훈련된 딥러닝 모델이 다른 제조사의 스캐너와 다른 해부학적 부위의 데이터에 적용되었을 때의 성능는 어떠한가?
• RQ2 세밀조정, 병합 훈련, 대상 전용 훈련 등의 다양한 전이학습 전략이 모델 일반화 능력을 향상시키는 데 있어 상대적인 성능는 어떠한가?
• RQ3 대상 도메인 데이터셋의 크기가 CBCT에서 CT로의 변환에 있어 전이학습 접근 방식의 성능에 어떤 영향을 미치는가?
• RQ4 소규모 대상 도메인 데이터셋에서 사전 훈련된 모델을 세밀조정하는 것이 더 큰 데이터셋에서 처음부터 훈련하는 것과 유사한 성능을 달성할 수 있는가?

주요 결과

• 한 제조사의 CBCT 데이터에서 훈련된 모델는 다른 제조사의 스캐너 데이터에 적용되었을 때 성능 저하가 심각하게 나타나, 일반화 문제의 심각성을 확인시켰다.
• 충분한 대상 도메인 데이터가 확보된 경우, 세 가지 전이학습 전략(대상, 병합, 적응 모델) 모두 높은 성능를 기록하였으며, 유의미한 성능 차이는 없었다.
• 대상 도메인 데이터가 제한적인 경우, 세밀조정된(적응된) 모델이 대상 전용 모델 및 병합 모델보다 성능이 뛰어나 데이터 효율성에서 뛰어난 성능를 보였다.
• 소규모 대상 도메인 데이터셋에서 소스 모델을 세밀조정하는 것이 성능와 데이터 효율성 사이의 최적의 트레이드오프를 달성하였으며, 임상 적용에 가장 실용적인 솔루션이었다.
• 스캐너 하드웨어 및 해부학적 부위의 차이로 인한 도메인 이탈은 의료 영상에서의 딥러닝 모델 일반화 능력에 심각한 영향을 미친다.
• 특히 세밀조정을 통한 전이학습은 제한된 데이터로도 새로운 임상 환경에 적합한 딥러닝 모델을 효과적으로 적응시키는 가능하고 효과적인 전략임을 확인하였다.