[논문 리뷰] When More is Less: Incorporating Additional Datasets Can Hurt Performance By Introducing Spurious Correlations

Rhys Compton, Lily Zhang외 2명|arXiv (Cornell University)|2023. 08. 08.

Radiomics and Machine Learning in Medical Imaging인용 수 4

한 줄 요약

이 논문은 외부 의료 영상 데이터셋을 추가할 경우, 질병 레이블과 병원별로 특징화된 영상 아티팩트 사이의 유사하지 않은 상관관계로 인해 모델 성능이 저하될 수 있음을 입증한다. 평가된 설정의 43%에서 두 병원의 데이터를 결합해 훈련한 모델은 단일 병원의 데이터로 훈련한 모델보다 악성 그룹 정확도에서 성능이 열 劣했으며, 이는 테스트 데이터에 더 가까운 분포 유사성을 확보한 상태에서도 발생했다.

ABSTRACT

In machine learning, incorporating more data is often seen as a reliable strategy for improving model performance; this work challenges that notion by demonstrating that the addition of external datasets in many cases can hurt the resulting model's performance. In a large-scale empirical study across combinations of four different open-source chest x-ray datasets and 9 different labels, we demonstrate that in 43% of settings, a model trained on data from two hospitals has poorer worst group accuracy over both hospitals than a model trained on just a single hospital's data. This surprising result occurs even though the added hospital makes the training distribution more similar to the test distribution. We explain that this phenomenon arises from the spurious correlation that emerges between the disease and hospital, due to hospital-specific image artifacts. We highlight the trade-off one encounters when training on multiple datasets, between the obvious benefit of additional data and insidious cost of the introduced spurious correlation. In some cases, balancing the dataset can remove the spurious correlation and improve performance, but it is not always an effective strategy. We contextualize our results within the literature on spurious correlations to help explain these outcomes. Our experiments underscore the importance of exercising caution when selecting training data for machine learning models, especially in settings where there is a risk of spurious correlations such as with medical imaging. The risks outlined highlight the need for careful data selection and model evaluation in future research and practice.

연구 동기 및 목표

• 의료 영상에서 추가 데이터를 통합하는 것이 항상 모델 일반화 성능을 향상시킬까를 조사하기 위해
• 유사하지 않은 상관관계로 인해 데이터 추가 시 성능 저하가 발생하는 조건을 특정하기 위해
• 데이터 균형 조정 기법이 이러한 저하를 완화하는 데 얼마나 효과적인지 평가하기 위해
• 다양한 출처의 의료 AI에서 데이터 선택 및 모델 평가에 실용적인 지침을 제공하기 위해

제안 방법

• 9개의 질병 레이블과 4개의 병원에서의 단일 병원 대비 다중 병원 흉부 X-ray 데이터셋을 기반으로 모델을 실증적으로 평가한다.
• 병원 간 성능 격차를 탐지하기 위해 악성 그룹 정확도를 주요 평가 지표로 사용한다.
• 과소표본화를 통한 데이터 균형 조정 여부에 따라 모델을 훈련시어 병원과 질병 간 유사하지 않은 상관관계를 감소시킨다.
• 명시적 지도 학습 없이도 모델이 병원 특유의 신호를 학습하는지 분석하기 위해 학습된 표현을 분석한다.
• Puli 등 (2022)의 이론적 도구를 적용하여 균형 조정이 항상 강건한 모델을 만들어내지 못하는 이유를 설명한다.
• 다양한 모델 아키텍처와 훈련 설정 간의 결과를 비교하여 데이터 소스 혼합의 영향을 고립한다.

Figure 1: High level overview of experiments. We study changes in worst-group accuracy (bold) when training on additional labelled data from an external hospital.

실험 결과

연구 질문

• RQ1 외부 병원의 데이터를 추가하면 흉부 X-ray 분류에서 악성 그룹 정확도가 항상 향상되는가?
• RQ2 병원별로 특징화된 영상 아티팩트가 질병 레이블과 데이터 소스 간의 유사하지 않은 상관관계를 유도하는 데 어떤 역할을 하는가?
• RQ3 과소표본화를 통한 데이터 균형 조정이 다중 출처 훈련으로 인한 성능 저하를 효과적으로 제거할 수 있는가?
• RQ4 다중 출처 훈련이 단일 출처 훈련보다 일반화 성능을 떨어뜨리는 조건는 무엇인가?
• RQ5 모델 표현이 명시적으로 훈련되지 않았음에도 불구하고 병원 정체성을 어떻게 인코딩하는가?

주요 결과

• 평가된 설정의 43%에서 두 병원의 데이터로 훈련한 모델은 단일 병원 데이터로 훈련한 모델보다 악성 그룹 정확도가 떨어졌다.
• 추가 데이터가 훈련 분포를 테스트 분포에 더 가깝게 만들었음에도 불구하고 성능 저하가 발생했으며, 이는 분포 유사성만으로는 일반화가 보장되지 않음을 시사한다.
• 다중 출처 데이터로 훈련된 모델는 병원 정체성을 질병 예측의 단서로 활용하는 경향이 있었으며, 훈련 중에 볼 수 없었던 병원을 완벽하게 구분할 수 있는 표현을 학습했다.
• 과소표본화를 통한 데이터 균형 조정은 일부 케이스에서 성능 향상을 이끌었지만, 다중 출처 훈련이 성능 저하를 유발한 43%의 설정에서는 악성 그룹 정확도 향상에 실패했다.
• 균형 조정이 단일 출처 훈련보다 더 나은 성능을 보장하지는 않았으며, 일부 경우에서는 추가 데이터를 포함하지 않은 것보다도 결과가 열 劣했다.
• 이론적 분석은 균형 조정이 병원-질병 간 유사하지 않은 상관관계 문제를 항상 해결하는 데 보장되지 않음을 확인했으며, 특히 복잡한 데이터 분포에서는 더욱 그러하다.

Figure 2: Change in worst-group performance after including a second training dataset. We see both improvements in performance as expected, but also many deteriorations. For every element in the legend, the first dataset is the base environment, and the second is the added environment; for instance,