[논문 리뷰] Machine Learning with Multi-Site Imaging Data: An Empirical Study on the Impact of Scanner Effects

Ben Glocker, R. H. Robinson외 3명|arXiv (Cornell University)|2019. 10. 10.

Radiomics and Machine Learning in Medical Imaging참고 문헌 15인용 수 70

한 줄 요약

본 논문은 표준 신경영상 전처리 후에도 스캐너/사이트 간 차이가 남아 분류기에 의해 활용될 수 있음을 보여주며, 기계학습을 위한 다중 사이트 영상 데이터의 조화(harmonization) 난제를 강조한다.

ABSTRACT

This is an empirical study to investigate the impact of scanner effects when using machine learning on multi-site neuroimaging data. We utilize structural T1-weighted brain MRI obtained from two different studies, Cam-CAN and UK Biobank. For the purpose of our investigation, we construct a dataset consisting of brain scans from 592 age- and sex-matched individuals, 296 subjects from each original study. Our results demonstrate that even after careful pre-processing with state-of-the-art neuroimaging pipelines a classifier can easily distinguish between the origin of the data with very high accuracy. Our analysis on the example application of sex classification suggests that current approaches to harmonize data are unable to remove scanner-specific bias leading to overly optimistic performance estimates and poor generalization. We conclude that multi-site data harmonization remains an open challenge and particular care needs to be taken when using such data with advanced machine learning methods for predictive modelling.

연구 동기 및 목표

• 최신(pre-processing) 전처리 후에도 다중 사이트 T1 가중 MRI 데이터가 스캐너 특유의 바이어스를 보유함을 입증한다.
• 처리된 영상과 조직 맵으로부터 데이터 원천(사이트)을 분류하는 능력을 정량화한다.
• 데이터 조화(harmonization) 방법이 성별 분류와 같은 예측 모델링 작업에 미치는 영향을 평가한다.

제안 방법

• Cam-CAN과 UK Biobank에서 연령 및 성별이 매칭된 균형 잡힌 데이터셋을 구성한다 (n=592, 각 연구에서 296명).
• 일반적인 전처리 파이프라인(재정렬, 두개골 제거, 바이어스 보정, 정합, 화이트닝)을 적용하고 SPM12 및 FAST로 조직 확률 맵을 생성한다.
• 여러 데이터 배열(단일 사이트 대 다중 사이트)에서 데이터 원천 구분 및 성별 분류를 수행하도록 랜덤 포레스트 분류기를 학습시킨다.
• 교차검증으로 사이트 예측력과 성별 분류 성능을 평가하고 정확도, 엔트로피, 예측 확률을 보고한다.

실험 결과

연구 질문

• RQ1 Can scanner/site differences be recovered from pre-processed MRI data and derived tissue maps?
• RQ2 To what extent does data harmonization reduce site-specific bias in multi-site MRI datasets?
• RQ3 How does multi-site data affect the accuracy and generalization of sex classification tasks?
• RQ4 What is the impact of varying alignment/normalization on residual scanner effects?

주요 결과

• Site classification succeeds with high accuracy even after careful pre-processing, indicating persistent scanner effects.
• Derived tissue probability maps retain scanner bias, and higher spatial normalization can amplify these effects.
• Multi-site age/sex-matched data yields sex-classification accuracy similar to single-site data, but sex imbalance and cross-site testing reveal generalization issues.
• Affine registration removing brain size information can worsen drop in classification performance across sites.
• When mixing sites, some configurations (e.g., Cam-CAN females vs UKBB males) yield very high accuracy, suggesting strong site-specific cues persist.
• Overall, data harmonization for multi-site neuroimaging remains challenging and can lead to optimistic performance estimates if not properly addressed.