[논문 리뷰] Shifts: A Dataset of Real Distributional Shift Across Multiple Large-Scale Tasks

Andrey Malinin, Neil Band외 16명|arXiv (Cornell University)|2021. 07. 15.

Anomaly Detection Techniques and Applications인용 수 45

한 줄 요약

현실 세계의 분포 변화가 있는 대규모 다중 모달 데이터셋(표 형식의 날씨 데이터, 기계 번역, 그리고 차량 모션)을 사용하여 불확실성 추정 및 강건성 벤치마크를 평가하는 벤치마크; 베이스라인 앙상블은 작업 전반에서 강건성과 불확실성을 개선합니다.

ABSTRACT

There has been significant research done on developing methods for improving robustness to distributional shift and uncertainty estimation. In contrast, only limited work has examined developing standard datasets and benchmarks for assessing these approaches. Additionally, most work on uncertainty estimation and robustness has developed new techniques based on small-scale regression or image classification tasks. However, many tasks of practical interest have different modalities, such as tabular data, audio, text, or sensor data, which offer significant challenges involving regression and discrete or continuous structured prediction. Thus, given the current state of the field, a standardized large-scale dataset of tasks across a range of modalities affected by distributional shifts is necessary. This will enable researchers to meaningfully evaluate the plethora of recently developed uncertainty quantification methods, as well as assessment criteria and state-of-the-art baselines. In this work, we propose the Shifts Dataset for evaluation of uncertainty estimates and robustness to distributional shift. The dataset, which has been collected from industrial sources and services, is composed of three tasks, with each corresponding to a particular data modality: tabular weather prediction, machine translation, and self-driving car (SDC) vehicle motion prediction. All of these data modalities and tasks are affected by real, "in-the-wild" distributional shifts and pose interesting challenges with respect to uncertainty estimation. In this work we provide a description of the dataset and baseline results for all tasks.

연구 동기 및 목표

• 다중 데이터 모달리티에 걸친 표준화된 현실 세계 벤치마크(Shifts)를 도입하여 분포 변화에 대한 강건성과 예측 불확실성을 연구합니다.
• 배포 시 분포 변화 시뮬레이션을 위한 도메인 내/이동 분할이 포함된 표준 데이터 파티션을 제공합니다.
• 작업 전반에 대한 성능 및 불확실성 벤치마크를 확립하기 위해 앙상블 방법을 사용한 베이스라인 결과를 제공합니다.
• 과 retention 곡선(오류-리텐션 및 F1-리텐션) 및 관련 AUC 측정을 통해 강건성과 불확실성을 함께 평가하는 평가 지표를 제안합니다.

제안 방법

• 산업 소스에서 세 가지 대규모 작업을 구성합니다: 표 형식 날씨 예측, 기계 번역, 자율주행 자동차 모션 예측.
• 앙상블 기반 베이스라인을 채택하여 강건한 불확실성 추정 및 경쟁력 있는 예측 성능을 확보합니다.
• 오류-리텐션 곡선과 F1-리텐션 곡선을 사용하여 분포 변화에 대한 강건성과 불확실성 품질(R-AUC, F1-AUC, F1@95%)을 함께 평가합니다.
• 현실적인 분포 변화를 반영하기 위해 데이터의 도메인 내(in-domain)와 이동된(shifted) 세트의 정형화된 파티셔닝을 정의합니다.
• 작업에 적합한 지표를 통해 불확실성을 평가합니다(예: 회귀에 대한 RMSE/MAE, 분류에 대한 정확도/매크로-F1, MT용 BLEU/eGLEU/maxGLEU, 모션용 cNLL/minADE/minFDE).

실험 결과

연구 질문

• RQ1 모델의 분포 변화에 대한 강건성이 실제 다중 모달 작업에서 어떻게 악화되나요?
• RQ2 앙상블 기반 불확실성 추정은 시프트하에서 실제 오차와 얼마나 잘 상관관계가 있나요?
• RQ3 어떤 불확실성 측정이 모달리티 간의 분포 외 입력을 가장 잘 탐지하나요?
• RQ4 날씨, 번역, 차량 모션 작업에서 앙상블과 단일 모델의 상대적 성능 및 불확실성 트레이드오프는 어떻게 되나요?
• RQ5 리텐션 기반 평가가 분포 변화 하에서 하이브리드 인간-인공지능 의사결정을 신뢰성 있게 특성화할 수 있나요?

주요 결과

• 앙상블은 Weather Prediction 및 Machine Translation 벤치마크에서 단일 모델보다 일관되게 우수하며 RMSE/MAE(날씨) 및 BLEU/eGLEU(MT)와 같은 지표를 개선합니다.
• 날씨 예측에서 앙상블의 RMSE 개선은 dev-in, dev-out, eval-in, eval-out, eval 파티션 전반에서 나타나며 단일 모델보다 불확실성 기반 리텐션 지표(R-AUC 및 F1-AUC)에서 뚜렷한 이점을 보입니다.
• 지식 불확실성(예: EPKL, MI, RMI)을 포착하는 불확실성 측정은 회귀 및 분류 작업에서 OOD 탐지를 위한 ROC-AUC를 일반적으로 높이는 반면, 총 불확실성 지표(tvar, Conf, Entropy)는 F1-AUC 및 F1@95%에 대해 더 뛰어납니다.
• MT의 경우 앙상블이 단일 모델보다 높은 R-AUC 및 F1-AUC를 달성하고 BLEU/eGLEU 상관관계가 강건성 향상을 시사하며, 도메인 내/이동 데이터에 대한 ROC-AUC도 앙상블에 유리합니다.
• 차량 모션 예측 작업은 6백만 장면에서 다부문 불확실성 평가(cNLL, minADE, minFDE, 가중치 버전)를 도입하고, BC와 DIM RIP 베이스라인을 다양한 앙상블 크기 및 불확실성 방법으로 비교하며, 연속적 다중 궤적 예측에서 앙상블 기반 불확실성의 역할을 강조합니다.