[논문 리뷰] Shifts 2.0: Extending The Dataset of Real Distributional Shifts

Andrey Malinin, Ανδρέας Αθανασόπουλος외 16명|arXiv (Cornell University)|2022. 06. 30.

Advanced Glycation End Products researchBiochemistry, Genetics and Molecular Biology인용 수 18

한 줄 요약

이 논문은 다발성 경화증의 3D MRI 병변 세분화와 해양 선박의 전력 소비 예측이라는 두 가지 산업 규모의 새로운 벤치마크를 추가하여 Shifts 데이터셋을 확장한다. 이는 실제 세계의 분포 이탈을 반영한다. 저자들은 데이터 수집, 전처리 및 기준 성능 결과를 상세히 제공하여, 실제 고위험 분포 이탈 상황에서 모델의 일반화 능력과 불확실성 추정의 정확성을 강력하게 평가할 수 있도록 한다.

ABSTRACT

Distributional shift, or the mismatch between training and deployment data, is a significant obstacle to the usage of machine learning in high-stakes industrial applications, such as autonomous driving and medicine. This creates a need to be able to assess how robustly ML models generalize as well as the quality of their uncertainty estimates. Standard ML baseline datasets do not allow these properties to be assessed, as the training, validation and test data are often identically distributed. Recently, a range of dedicated benchmarks have appeared, featuring both distributionally matched and shifted data. Among these benchmarks, the Shifts dataset stands out in terms of the diversity of tasks as well as the data modalities it features. While most of the benchmarks are heavily dominated by 2D image classification tasks, Shifts contains tabular weather forecasting, machine translation, and vehicle motion prediction tasks. This enables the robustness properties of models to be assessed on a diverse set of industrial-scale tasks and either universal or directly applicable task-specific conclusions to be reached. In this paper, we extend the Shifts Dataset with two datasets sourced from industrial, high-risk applications of high societal importance. Specifically, we consider the tasks of segmentation of white matter Multiple Sclerosis lesions in 3D magnetic resonance brain images and the estimation of power consumption in marine cargo vessels. Both tasks feature ubiquitous distributional shifts and a strict safety requirement due to the high cost of errors. These new datasets will allow researchers to further explore robust generalization and uncertainty estimation in new situations. In this work, we provide a description of the dataset and baseline results for both tasks.

연구 동기 및 목표

• 고위험 응용 분야에서 흔히 발생하는 실제 세계의 분포 이탈을 반영하지 못하는 기계학습 벤치마크의 심각한 격차를 보완하기 위해.
• 의료 영상 및 에너지 시스템에서 모델 실패가 심각한 결과를 초래할 수 있는 실제 분포 이탈을 반영한 산업 규모의 데이터셋을 제공하기 위해.
• 합성 또는 수작업으로 조정된 이탈이 아닌 실제 구현 시의 이탈 조건에서 모델의 강건성과 불확실성 추정의 체계적 평가를 가능하게 하기 위해.
• Shifts 벤치마크에 3D 흰질 병변 세분화 및 컨테이너선의 전력 소비 예측이라는 두 가지 새로운 고영향도 과제를 추가하기 위해.
• 분포 이탈 상황에서 불확실성과 일반화 능력을 현실적으로 평가함으로써 더 안전하고 신뢰할 수 있는 머신러닝 시스템 개발을 지원하기 위해.

제안 방법

• 임상 자료에서 유래한 다양한 스캐너 프로토콜과 촬영 파rameter를 포함하여 실제 분포 이탈을 유도하는 새로운 3D MRI 다발성 경화증 병변 데이터셋을 수집하고 정제하였다.
• 컨테이너선의 운영 테lemetric 데이터를 기반으로 해양 선박의 전력 소비 데이터셋을 구축하여 기상, 적재량 및 항로 조건의 변화로 인한 이탈을 캡처하였다.
• 알려진 분포 이탈 조건에서의 평가를 가능하게 하기 위해 두 데이터셋 모두에 표준적인 훈련/검증/테스트 분할을 설계하였으며, 내영역 및 외영역 분할을 포함하였다.
• 표준 딥러닝 모델(예: U-Net, MLP, ResNet)과 불확실성 추정 기법(MC 드롭아웃, 변분 추론, 딥 앙상블)을 기준 성능으로 적용하였다.
• 표준 평가 지표(R-AUC, F1-AUC, F1@95%, 유지 곡선)를 사용하여 성능을 평가하였으며, 이는 분포 이탈 조건 하에서의 불확실성 캘리브레이션을 평가하기 위함이었다.
• 재현성과 통계적 엄밀함을 확보하기 위해 단일 시드 기반 표준편차를 사용하여 결과를 보고하였다.

실험 결과

연구 질문

• RQ1 3D 의료 영상 및 해양 에너지 응용 분야에서 실제 세계의 분포 이탈 조건에서 최신 딥러닝 모델의 성능은 어떻게 되는가?
• RQ2 고위험 영역에서 데이터가 이탈된 상황에 배치되었을 때, 불확실성 추정 기법(MC 드롭아웃, 딥 앙상블 등)의 신뢰성은 어느 정도 유지되는가?
• RQ3 실제 산업 데이터셋에서 내영역 데이터에서 외영역 데이터로 이탈할 경우, 모델 성능과 불확실성 캘리브레이션은 어떻게 악화되는가?
• RQ4 새로운 벤치마크는 안전이 중요한 환경에서 강건한 일반화와 잘 캘리브레이션된 불확실성 추정을 제공하는 모델 개발을 지원할 수 있는가?
• RQ5 기존 머신러닝 벤치마크를 복잡하고 비i.i.d.인 데이터 이탈이 발생하는 실제 고위험 산업 응용 분야에 적용할 때의 주요 과제는 무엇인가?

주요 결과

• 3D MRI 병변 세분화 과제에서는 분포 이탈 조건에서 성능 저하가 심각하게 나타났으며, 딥 앙상블과 함께 MC 드롭아웃을 사용한 경우 F1-AUC가 내영역에서 0.618에서 외영역로 0.536로 감소하였다.
• 해양 선박 전력 예측 과제에서는 최고 성능을 보인 모델(기호적 모델, 앙상블)이 평가 세트에서 R-AUC 17.51×10⁵를 기록하여 DNN 및 단일 모델 기준 성능을 크게 앞섰다.
• 불확실성 캘리브레이션(측정 지표: R-AUC 및 유지 곡선)은 외영역 데이터에서 상당히 악화되었으며, VI 및 MC 드롭아웃 모두 이격된 데이터에서 내영역 데이터보다 낮은 R-AUC를 보였다.
• 앙상블 학습을 적용한 기호적 모델이 평가 세트에서 가장 높은 F1@95% (0.509)를 기록하여 이격 조건 하에서의 불확실성 오차 캘리브레이션에 대해 더 강건한 성능을 보였다.
• 기준 성능 모델들은 이격 조건 하에서 일반화 능력이 열악했으며, 외영역 분할에서 F1-AUC가 최대 20% 감소하는 등 강건성과 불확실성 추정 향상의 필요성을 드러냈다.
• 새로운 데이터셋은 표준 모델과 불확실성 기법이 실제 세계 환경에서는 신뢰할 만하게 일반화되지 않음을 드러내며, 이격 조건을 고려한 훈련과 평가의 필수성을 강조한다.