[논문 리뷰] Synthetic DOmain-Targeted Augmentation (S-DOTA) Improves Model Generalization in Digital Pathology

Sai Chowdary Gullapally, Yibo Zhang외 21명|arXiv (Cornell University)|2023. 05. 03.

AI in cancer detection인용 수 5

한 줄 요약

이 논문은 디지털 병리학에서 다양한 스캐너와 염색 프로토콜 간의 모델 강인성 향상을 위해 CycleGAN 기반 스캐너 변환(ST)과 물리기반 염색 벡터 증강(SVA)을 사용하는 합성 도메인-타겟드 증강(S-DOTA)을 제안한다. S-DOTA는 분포 외(out-of-distribution, OOD) 테스트 세트에서 최대 93.7%의 매크로 F1을 기록하며 분포 내 성능을 유지하면서도, 다양한 병리학적 과제와 적응 항목에서 ICC 校정 및 기준 증강 기법보다 뛰어난 성능을 보인다.

ABSTRACT

Machine learning algorithms have the potential to improve patient outcomes in digital pathology. However, generalization of these tools is currently limited by sensitivity to variations in tissue preparation, staining procedures and scanning equipment that lead to domain shift in digitized slides. To overcome this limitation and improve model generalization, we studied the effectiveness of two Synthetic DOmain-Targeted Augmentation (S-DOTA) methods, namely CycleGAN-enabled Scanner Transform (ST) and targeted Stain Vector Augmentation (SVA), and compared them against the International Color Consortium (ICC) profile-based color calibration (ICC Cal) method and a baseline method using traditional brightness, color and noise augmentations. We evaluated the ability of these techniques to improve model generalization to various tasks and settings: four models, two model types (tissue segmentation and cell classification), two loss functions, six labs, six scanners, and three indications (hepatocellular carcinoma (HCC), nonalcoholic steatohepatitis (NASH), prostate adenocarcinoma). We compared these methods based on the macro-averaged F1 scores on in-distribution (ID) and out-of-distribution (OOD) test sets across multiple domains, and found that S-DOTA methods (i.e., ST and SVA) led to significant improvements over ICC Cal and baseline on OOD data while maintaining comparable performance on ID data. Thus, we demonstrate that S-DOTA may help address generalization due to domain shift in real world applications.

연구 동기 및 목표

• 스캐너, 염색 프로토콜 및 랩별 처리 방식의 다양성으로 인한 디지털 병리학에서의 도메인 이동 문제를 해결하기 위해.
• 실제 임상 환경에서 알려지지 않은 랩과 스캐너에서의 분포 외(OOD) 데이터로의 모델 일반화 능력을 향상시키기 위해.
• 실제 OOD 데이터를 광범위하게 확보할 필요 없이도 훈련 중 다양한 도메인 이동을 시뮬레이션할 수 있는 확장 가능하고 타겟된 증강 전략을 개발하기 위해.
• ICC 校정 및 표준 증강 기법과 비교하여 S-DOTA 방법(ST 및 SVA)이 분포 내 및 분포 외 테스트 세트에서의 성능을 평가하기 위해.
• 다양한 모델 유형(조직 세분화, 세포 분류), 손실 함수, 질병 적응 항목(HCC, NASH, 전립선 선암)에서 방법을 검증하기 위해.

제안 방법

• S-DOTA는 특정 스캐너 유형 간의 도메인 간 이미지 번역을 학습하기 위해 CycleGAN 기반 스캐너 변환(ST)을 사용하여 분포 외 스캐너 도메인을 시뮬레이션하는 데이터 증강을 가능하게 한다.
• S-DOTA는 다양한 출처에서 수집된 정렬된 염색 벡터를 사용해 이미지 패치를 변환하는 물리기반의 염색 벡터 증강(SVA)을 도입한다. 이는 다양한 염색 색상 프로파일을 시뮬레이션한다.
• ST 및 SVA는 모두 훈련 시 증강으로 적용되며, 분포 내 이미지에서부터 목표 도메인의 특성을 모방하는 합성 데이터를 생성한다.
• 다양한 랩, 스캐너 및 질병 적응 항목에서 분포 내(ID) 및 분포 외(OOD) 테스트 세트의 매크로 평균 F1 스코어를 사용해 방법을 평가한다.
• 동일한 훈련 및 평가 프rotocol 하에 ICC 프로파일 기반 색상 校정(ICC Cal) 및 표준 증강(명도, 색상, 노이즈)과 성능을 비교한다.
• HCC 분류 과제에서 일반화 성능를 추가로 평가하기 위해 교차 엔트로피 손실 외에 감독 대비 손실(SCL)을 사용한다.

실험 결과

연구 질문

• RQ1 S-DOTA 방법(ST 및 SVA)은 알려지지 않은 랩과 스캐너에서의 분포 외(OOD) 데이터로의 모델 일반화 능력을 향상시킬 수 있는가?
• RQ2 ICC 校정 및 기준 증강 기법과 비교해 ST 및 SVA는 분포 내(ID) 성능를 유지하면서 OOD 일반화 능력을 향상시키는 데 얼마나 효과적인가?
• RQ3 물리기반 염색 벡터 증강(SVA)을 사용할 경우, 스캐너 전용 CycleGAN(ST)보다 더 강건한 도메인 일반화를 달성할 수 있는가?
• RQ4 S-DOTA 방법은 다양한 질병 적응 항목(HCC, NASH, 전립선 선암)과 모델 아키텍처에서 얼마나 성능 향상을 이룰 수 있는가?
• RQ5 S-DOTA를 감독 대비 학습(SCL)과 조합할 경우, 표준 교차 엔트로피 훈련 대비 일반화 능력이 더욱 향상되는가?

주요 결과

• S-DOTA 방법(ST 및 SVA)은 OOD 테스트 세트에서 ICC 校정 및 기준 증강 기법을 크게 능가하여, HCC 세포 분류 과제에서 최대 93.73%의 매크로 F1을 기록했다.
• HCC 세포 모델에서 SVA는 OOD(11,GT450)에서 93.73%의 매크로 F1을 기록했으며, 기준 증강(88.96%) 및 ICC 校정(92.51%)보다 뛰어난 OOD 일반화 능력을 보였다.
• NASH 세포 모델에서 S-DOTA 방법(ST 및 SVA)은 각각 OOD(11,GT450) 및 (11,DP200)에서 85.92% 및 85.11%의 매크로 F1을 기록했으며, ICC 校정(85.07%) 및 기준 증강(81.19%)을 모두 초월했다.
• 전립선 선암세포 모델에서 S-DOTA(ST 및 SVA)는 OOD(1,DP200)에서 각각 61.88% 및 60.98%의 매크로 F1을 기록했으며, 기준 증강(51.54%) 및 ICC 校정(56.95%)보다 뛰어났다.
• 감독 대비 손실(SCL)과 조합했을 경우, S-DOTA(ST 및 SVA)는 OOD(7,Scan II)에서 각각 60.94% 및 60.00%의 매크로 F1을 기록했으며, 기준 증강+SCL(46.23%) 및 ICC 校정+SCL(41.26%)를 모두 능가했다.
• S-DOTA 방법은 ICC 校정 및 기준 증강과 비교해 분포 내(ID) 성능를 유사하거나 더 높게 유지하여 표준 테스트 세트에서의 성능 저하가 없음을 확인했다.