[논문 리뷰] The Data Addition Dilemma

Judy Hanwen Shen, Inioluwa Deborah Raji외 1명|arXiv (Cornell University)|2024. 08. 08.

Data Quality and ManagementDecision Sciences인용 수 3

한 줄 요약

이 논문은 모델 스케일링 중 다양한 의료 자료원에서 데이터를 추가할 경우, 데이터 양이 증가함에도 불구하고 분포 이탈로 인해 성능이 악화될 수 있는 '데이터 추가 딜레마(Data Addition Dilemma)'를 제안한다. 분포 이탈 히우리스틱을 활용해 데이터 소스 선택을 안내하며, 새로운 데이터가 유해한 통계적 이탈을 유도할 경우 모델 정확도가 저하될 수 있음을 입증하고, 의료 기계학습 시스템에서 데이터 추가가 성능 향상 또는 악화를 가져올지 예측할 수 있는 공식적 프레임워크를 제공한다.

ABSTRACT

In many machine learning for healthcare tasks, standard datasets are constructed by amassing data across many, often fundamentally dissimilar, sources. But when does adding more data help, and when does it hinder progress on desired model outcomes in real-world settings? We identify this situation as the extit{Data Addition Dilemma}, demonstrating that adding training data in this multi-source scaling context can at times result in reduced overall accuracy, uncertain fairness outcomes, and reduced worst-subgroup performance. We find that this possibly arises from an empirically observed trade-off between model performance improvements due to data scaling and model deterioration from distribution shift. We thus establish baseline strategies for navigating this dilemma, introducing distribution shift heuristics to guide decision-making on which data sources to add in data scaling, in order to yield the expected model performance improvements. We conclude with a discussion of the required considerations for data collection and suggestions for studying data composition and scale in the age of increasingly larger models.

연구 동기 및 목표

• 다양한 소스에서 온 데이터를 통합하는 다중 소스 의료 기계학습에서, 데이터 양이 증가함에도 불구하고 분포 이탈로 인해 성능이 저하될 수 있는 데이터 스케일링 과제를 체계화하는 것.
• 실제 임상 환경에서 새로운 데이터 소스를 추가할 경우 성능 저하가 발생하는지 여부를 규명하는 것.
• 분포 변화를 고려한 실용적인 데이터 추가 히우리스틱을 개발하여 기대되는 성능 향상이 이루어지도록 하는 것.

제안 방법

• 다중 소스 학습 데이터에서 데이터 스케일링으로 인한 성능 향상과 분포 이탈로 인한 성능 저하 간의 트레이드오프로 데이터 추가 딜레마를 체계화한다.
• f-분산 측정법(예: 킬비블레르-라이블러 분산)을 사용해 학습 데이터와 테스트 데이터 간의 분포 이탈을 정량화한다.
• Jensen의 부등식과 f-분산의 볼록성에 기반한 이론적 조건을 유도하여, 새로운 데이터 소스를 추가할 경우 성능 향상 또는 악화 여부를 판단한다.
• 히우리스틱 제안: 새로운 데이터 소스는 전체 학습 분포 및 데이터 구성에 따라 정의된 임계값을 초과하는 분포 이탈을 보일 경우에만 추가해야 한다.
• 실제 다중 병원 ICU 데이터셋을 대상으로 히우리스틱의 실증적 검증을 수행하여, 점진적인 데이터 추가에 따른 모델 성능을 비교한다.
• 데이터 규모와 데이터 구성 간의 균형을 맞추는 프레임워크를 도입하여, 실무자가 어떤 데이터 소스를 포함시할지 결정하는 데 도움이 되도록 한다.

Figure 1: Our work introduces the Data Addition Dilemma , where, in a multi-source scaling context, an increase in training dataset size can unexpectedly lead to worse downstream model performance outcomes due to acquired distribution shift.

실험 결과

연구 질문

• RQ1 추가적인 의료 자료원에서 데이터를 추가할 경우, 총 학습 데이터 크기가 증가함에도 불구하고 성능이 저하되는 조건은 무엇인가?
• RQ2 이질적인 데이터 소스 간의 분포 이탈이 의료 기계학습에서 모델 정확도, 공정성, 최악의 그룹 성능에 미치는 영향은 무엇인가?
• RQ3 다중 소스 데이터 스케일링에서 새로운 데이터 소스를 추가할 경우 성능 향상 또는 악화 여부를 판단할 수 있는 공식 기준을 도출할 수 있는가?
• RQ4 데이터 구성 변화가 실생활 의료 응용에서 데이터 스케일링의 기대 효과를 떨어뜨리는 데 어떤 역할을 하는가?
• RQ5 분포 이탈에 대비해 실무자가 성능 향상 또는 유지에 기여하는 데이터 추가 결정을 내리는 방법은 무엇인가?

주요 결과

• 새로운, 분포 외부의 데이터 소스에서 데이터를 추가할 경우, 총 학습 데이터 크기가 증가함에도 불구하고 분포 이탈로 인해 전체 모델 정확도가 저하될 수 있다.
• 논문은 데이터 스케일링으로 인한 성능 향상과 분포 이탈로 인한 성능 저하 간의 트레이드오프를 규명하며, 이는 데이터 추가 딜레마의 핵심 원리임을 밝혀낸다.
• f-분산 임계값에 기반한 제안된 히우리스틱은 새로운 데이터 소스가 모델 성능에 미치는 영향(향상 또는 악화)을 성공적으로 예측한다.
• 전체 정확도가 향상되더라도, 최악의 하위 집단에서의 모델 성능은 새로운 데이터 소스가 추가될 경우 떨어질 수 있다.
• 다중 병원 ICU 데이터셋에 대한 실증적 검증 결과, 데이터 추가 결정이 모델 성과에 상당한 영향을 미치며, 일부 소스는 명백한 성능 저하를 유발하는 것으로 나타났다.
• 본 연구는 스케일링 과정에서의 데이터 구성 변화가 의료 기계학습 모델 개발에서 중요한데도 여전히 간과되고 있는 요소임을 입증한다.

Figure 2: We illustrate the Data Addition Dilemma . After hospital 443 has exhausted its in-distribution training data, we can consider adding training data from any of the 11 available hospitals in the eICU dataset. The addition of any available hospital data source can lead to uncertain outcomes a