[논문 리뷰] Synthetic Data as Validation

Qixin Hu, Alan Yuille외 1명|arXiv (Cornell University)|2023. 10. 24.

Radiomics and Machine Learning in Medical Imaging인용 수 4

한 줄 요약

이 논문은 간 종양 세분화에서 과적합을 줄이고 모델 일반화 능력을 향상시키기 위해 건강한 CT 볼륨에 합성 종양을 겹쳐 놓은 것을 검증 세트로 사용하는 방법을 제안한다. 특히 조기 암 진단에 유리하다. 지속적 학습 프레임워크를 활용해 동적으로 확장되는 합성 데이터를 적용함으로써, 작은 종양(반지름 <5mm)의 민감도를 도메인 내 데이터셋에서 33.1%에서 55.4%로, 도메인 외 데이터셋에서 33.9%에서 52.3%로 향상시켜 조기 진단 성능을 크게 향상시켰다.

ABSTRACT

This study leverages synthetic data as a validation set to reduce overfitting and ease the selection of the best model in AI development. While synthetic data have been used for augmenting the training set, we find that synthetic data can also significantly diversify the validation set, offering marked advantages in domains like healthcare, where data are typically limited, sensitive, and from out-domain sources (i.e., hospitals). In this study, we illustrate the effectiveness of synthetic data for early cancer detection in computed tomography (CT) volumes, where synthetic tumors are generated and superimposed onto healthy organs, thereby creating an extensive dataset for rigorous validation. Using synthetic data as validation can improve AI robustness in both in-domain and out-domain test sets. Furthermore, we establish a new continual learning framework that continuously trains AI models on a stream of out-domain data with synthetic tumors. The AI model trained and validated in dynamically expanding synthetic data can consistently outperform models trained and validated exclusively on real-world data. Specifically, the DSC score for liver tumor segmentation improves from 26.7% (95% CI: 22.6%-30.9%) to 34.5% (30.8%-38.2%) when evaluated on an in-domain dataset and from 31.1% (26.0%-36.2%) to 35.4% (32.1%-38.7%) on an out-domain dataset. Importantly, the performance gain is particularly significant in identifying very tiny liver tumors (radius &lt; 5mm) in CT volumes, with Sensitivity improving from 33.1% to 55.4% on an in-domain dataset and 33.9% to 52.3% on an out-domain dataset, justifying the efficacy in early detection of cancer. The application of synthetic data, from both training and validation perspectives, underlines a promising avenue to enhance AI robustness when dealing with data from varying domains.

연구 동기 및 목표

• 의료 AI에서 실재 데이터의 부족, 편향, 그리고 처리하기 어려운 특성으로 인한 도전 과제를 해결하기 위해, 특히 조기 병변에 대해.
• 소규모이고 정적인 검증 세트가 도메인 외 또는 희귀 케이스를 제대로 반영하지 못하는 한계를 극복하기 위해.
• 훈련 중에 다양한 합성 종양을 동적 검증 세트로 활용하여 모델의 일반화 능력과 강인성을 향상시키기 위해.
• 합성 데이터를 활용한 지속적 학습 프레임워크를 통해 도메인 내 및 도메인 외 데이터셋에서 작은 간 종양(반지름 <5mm)의 탐지 능력을 향상시키기 위해.
• 합성 데이터가 검증에 사용되었을 때 실재 데이터를 초월해 모델 선택과 성능을 향상시킬 수 있음을 입증하기 위해.

제안 방법

• 형태, 크기, 질감, 위치, 강도를 제어할 수 있는 모델 기반 전략을 사용해 합성 종양을 생성한다.
• 건강한 CT 볼륨에 합성 종양을 추가하여 실재 검증 데이터를 대체하거나 보완하는 대규모이고 다양한 검증 세트를 구성한다.
• 합성 종양을 포함한 도메인 외 데이터 스트림을 지속적으로 학습하는 지속적 학습 프레임워크를 도입하여 동적 모델 적응을 가능하게 한다.
• 시간이 지남에 따라 확장되는 합성 검증 세트 성능 기반으로 모델 체크포인트를 선택하며, 종양 특성의 광범위한 분포를 커버하도록 한다.
• 실제 테스트 세트와의 일치도를 높이고 체크포인트 선택 정확도를 향상시키기 위해 FLARE’23에서 유래한 도메인 내 합성 종양 검증을 활용한다.
• 다양한 병원의 실재로 완전히 애너테이션된 CT 볼륨을 대상으로 평가하여 도메인 내 및 도메인 외 일반화 능력을 평가한다.

실험 결과

연구 질문

• RQ1 실재 데이터가 부족한 상황에서 합성 데이터가 신뢰할 수 있고 다양한 검증 세트로 기능할 수 있는가? 특히 AI 개발의 모델 선택을 향상시키기 위해.
• RQ2 합성 데이터를 검증에 사용할 경우, 간 종양 세분화에서 도메인 내 및 도메인 외 테스트 세트에서의 모델 일반화 능력에 어떤 영향을 미치는가?
• RQ3 합성 데이터는 얼마나 작은 간 종양(반지름 <5mm)의 진단 능력을 향상시킬 수 있는가? 특히 조기 암 진단에서.
• RQ4 합성 데이터로 훈련된 지속적 학습 프레임워크가 정적 실재 데이터로 훈련된 모델보다 민감도와 강인성 측면에서 뛰어난 성능을 보일 수 있는가?
• RQ5 도메인 내 합성 종양 검증이 도메인 외 또는 실재 검증 세트보다 체크포인트 선택 정확도를 향상시키는가?

주요 결과

• 합성 검증 데이터를 사용할 경우, 도메인 내 테스트 세트에서 작은 간 종양(반지름 <5mm)의 민감도가 33.1%에서 55.4%로 향상되었다.
• 도메인 외 테스트 세트에서는 합성 검증 전략을 사용함으로써 작은 종양의 민감도가 33.9%에서 52.3%로 증가했다.
• 도메인 내 데이터셋에서 간 종양 세분화의 DSC 점수는 26.7% (95% CI: 22.6%–30.9%)에서 34.5% (30.8%–38.2%)로 향상되었다.
• 도메인 외 데이터셋에서는 합성 검증을 통해 DSC가 31.1% (26.0%–36.2%)에서 35.4% (32.1%–38.7%)로 상승했다.
• 도메인 내 합성 종양 검증 세트는 실제 테스트 세트와 일치하는 최적의 모델 체크포인트를 정확히 식별하여 그 신뢰성을 입증했다.
• 합성 데이터를 활용한 지속적 학습 프레임워크는 실재 데이터로만 훈련 및 검증된 모델보다 항상 뛰어난 성능을 보였으며, 특히 희귀하고 작은 종양의 탐지에서 뚜렷한 우수성을 보였다.