[논문 리뷰] Detect, Quantify, and Incorporate Dataset Bias: A Neuroimaging Analysis on 12,207 Individuals

Christian Wachinger, Benjamín Gutiérrez-Becker외 1명|arXiv (Cornell University)|2018. 04. 28.

Functional Brain Connectivity Studies참고 문헌 25인용 수 4

한 줄 요약

이 연구는 15개 데이터셋에서 총 12,207개의 T1-강도 MRI 스캔을 분석하여 신경영상 데이터셋의 편향을 탐지하고 측정하며 이를 활용한다. 데이터셋 호환성을 측정하기 위해 버하차리아 거리와 연령 예측 오차라는 두 가지 지표를 도입하고, 신경영상 사이트 간 유사성을 드러내는 t-SNE 임베딩을 생성하며, 편향을 고려한 훈련 세트 선택이 무작위 샘플링보다 자폐증 예측 정확도를 향상시킨다는 것을 보여준다.

ABSTRACT

Neuroimaging datasets keep growing in size to address increasingly complex medical questions. However, even the largest datasets today alone are too small for training complex models or for finding genome wide associations. A solution is to grow the sample size by merging data across several datasets. However, bias in datasets complicates this approach and includes additional sources of variation in the data instead. In this work, we combine 15 large neuroimaging datasets to study bias. First, we detect bias by demonstrating that scans can be correctly assigned to a dataset with 73.3% accuracy. Next, we introduce metrics to quantify the compatibility across datasets and to create embeddings of neuroimaging sites. Finally, we incorporate the presence of bias for the selection of a training set for predicting autism. For the quantification of the dataset bias, we introduce two metrics: the Bhattacharyya distance between datasets and the age prediction error. The presented embedding of neuroimaging sites provides an interesting new visualization about the similarity of different sites. This could be used to guide the merging of data sources, while limiting the introduction of unwanted variation. Finally, we demonstrate a clear performance increase when incorporating dataset bias for training set selection in autism prediction. Overall, we believe that the growing amount of neuroimaging data necessitates to incorporate data-driven methods for quantifying dataset bias in future analyses.

연구 동기 및 목표

• 대규모 신경영상 데이터셋의 편향을 탐지하고 측정함으로써 데이터 융합과 모델 일반화를 방해하는 문제를 해결한다.
• 신경영상 데이터셋과 촬영 사이트 간 호환성을 측정하기 위한 데이터 기반 지표를 개발한다.
• 다양한 데이터셋 간 유사성을 시각화할 수 있는 사이트 수준의 임베딩을 생성하며, 이는 동일한 데이터셋 내 사이트보다 다른 데이터셋의 사이트가 더 유사할 수 있음을 드러낸다.
• 자폐증 검출과 같은 임상 예측 작업에서 편향을 고려한 훈련 세트 선택의 실용적 이점을 입증한다.

제안 방법

• MRI 스캔의 원본 데이터셋을 예측하는 분류기를 훈련시켜 73.3%의 정확도를 달성함으로써 데이터셋 편향을 탐지한다.
• 뇌 부피와 피질 두께의 특징 분포 간 버하차리아 거리를 사용하여 데이터셋 호환성을 정량화한다.
• 모델 일반화 능력을 측정하기 위해 데이터셋 호환성의 Proxy로 연령 예측 오차를 사용한다.
• 쌍별 연령 예측 오차를 기반으로 한 t-SNE 기반의 신경영상 사이트 임베딩을 생성하여 다양한 데이터셋 간 사이트 유사성을 시각화한다.
• 사이트 호환성 지표를 활용해 자폐증 분류를 위한 비균일한 훈련 세트 선택을 수행하며, 이 지표 값이 낮은 사이트를 우선시한다.
• 지표에 기반한 지수 가중치를 적용하여 훈련 세트 구성에서 유사한 사이트를 우선순위로 배치한다.

실험 결과

연구 질문

• RQ1 이미지 특징에 기반해 신경영상 데이터셋을 신뢰성 있게 구분할 수 있는가? 이는 데이터셋 편향 존재 여부를 시사한다.
• RQ2 이미지 기반 및 인구통계 기반 지표를 사용해 데이터셋 호환성을 정량적으로 측정할 수 있는가?
• RQ3 다른 데이터셋의 신경영상 사이트들이 이미지 특성 측면에서 얼마나 유사한가? 이는 의미 있는 방식으로 시각화될 수 있는가?
• RQ4 편향을 훈련 세트 선택에 통합함으로써 무작위 샘플링 대비 자폐증 예측 성능이 향상되는가?
• RQ5 버하차리아 거리와 연령 예측 오차 중 어느 지표가 편향 인지 모델 훈련에서 더 높은 성능을 내는가?

주요 결과

• 분류기가 MRI 스캔을 원본 데이터셋에 73.3%의 정확도로 할당할 수 있었으며, 이는 상당한 데이터셋 편향 존재를 확인한다.
• 연령 예측 오차 지표가 자폐증 예측을 위한 훈련 세트 선택을 안내하는 데 버하차리아 거리 지표보다 우수한 성능을 보였다.
• t-SNE 시각화 결과, 신경영상 사이트에 대해 네 개의 명확한 군집이 드러났으며, 동일한 데이터셋 내 사이트보다 다른 데이터셋의 사이트가 더 유사한 경우가 많았다.
• ABIDE, HCP, GSP, CORR의 사이트는 젊은 연령대의 피험자를 중심으로 군집을 이루었고, ADNI와 AIBL의 사이트는 노령 연령대의 피험자를 중심으로 군집을 이루었다.
• 연령 예측 오차 지표를 기반으로 한 훈련 세트 선택이 무작위 샘플링이나 버하차리아 거리 기반 선택보다 더 높은 자폐증 분류 정확도를 달성했다.
• 제안된 편향 인지 훈련 전략은 모델 성능 향상을 이끌었으며, 대규모 신경영상 분석에서 편향을 정량화하고 통합하는 것이 유용함을 입증했다.