[논문 리뷰] Evaluating Model Robustness to Dataset Shift.

Adarsh Subbaswamy, Roy J. Adams외 1명|arXiv (Cornell University)|2020. 10. 28.

Machine Learning in Healthcare참고 문헌 3인용 수 9

한 줄 요약

이 논문은 조건부 분포 이탈을 통해 가능한 분포의 불확실성 집합을 정의함으로써, 단일 고정 평가 데이터셋을 사용하여 기계학습 모델의 데이터셋 이탈에 대한 강건성 평가 프레임워크를 제안한다. 느린 수렴 속도를 보이는 부수적 파라미터 추정기에도 √N-일致성을 유지하는 비편향 추정기(디비에이스티드 에스티메이터)를 도입함으로써, 실세계 의료 위험 예측 과제에서 신뢰할 수 있는 최악의 경우 성능 추정이 가능해진다.

ABSTRACT

As the use of machine learning in safety-critical domains becomes widespread, the importance of evaluating their safety has increased. An important aspect of this is evaluating how robust a model is to changes in setting or population, which typically requires applying the model to multiple, independent datasets. Since the cost of collecting such datasets is often prohibitive, in this paper, we propose a framework for evaluating this type of robustness using a single, fixed evaluation dataset. We use the original evaluation data to define an uncertainty set of possible evaluation distributions and estimate the algorithm's performance on the distribution within this set. Specifically, we consider distribution shifts defined by conditional distributions, allowing some distributions to shift while keeping other portions of the data distribution fixed. This results in finer-grained control over the considered shifts and more plausible worst-case distributions than previous approaches based on covariate shifts. To address the challenges associated with estimation in complex, high-dimensional distributions, we derive a debiased estimator which maintains $\sqrt{N}$-consistency even when machine learning methods with slower convergence rates are used to estimate the nuisance parameters. In experiments on a real medical risk prediction task, we show that this estimator can be used to evaluate robustness and accounts for realistic shifts that cannot be expressed as covariate shift. The proposed framework provides a means for practitioners to proactively evaluate the safety of their models using a single validation dataset.

연구 동기 및 목표

• 안전 기반 분야인 의료 분야와 같이 데이터셋 이탈이 흔한 분야에서 모델의 안전성 평가가 점점 더 중요해지는 데 기인하여.
• 강건성 평가를 위해 여러 개의 독립적 데이터셋을 수집하는 것이 종종 비용이 많이 들기 때문에 이를 해결하고자.
• 단순히 공변량 이탈이 아닌 조건부 분포 이탈을 모델링하여 더 세밀하고 현실적인 최악의 경우 강건성 평가를 가능하게 하고자.
• 추가 데이터 수집이 필요 없이 실무자들이 사전에 모델 안전성을 평가할 수 있는 실용적인 단일 데이터셋 솔루션을 제공하고자.

제안 방법

• 원본 데이터셋을 바탕으로 가능한 평가 분포의 불확실성 집합을 정의하며, 일부 데이터 분포를 고정한 채 조건부 분포의 이탈에 중점을 둔다.
• 분포 이탈을 조건부 분포를 통해 모델링하여 고려하는 이탈 유형에 대해 더 현실적이고 세밀한 제어를 가능하게 한다.
• 부수적 파rameter가 기계학습 모델을 통해 느리게 수렴하는 경우에도 √N-일치성을 유지하는 비편향 추정기를 유도한다.
• 비편향 추정기를 사용하여 불확실성 집합 전역에서 최악의 경우 모델 성능을 추정함으로써 현실적인 분포 이탈 상황에서의 강건성 평가를 가능하게 한다.
• 실제 의료 위험 예측 과제에 프레임워크를 적용하여, 공변량 이탈로 표현되지 않는 이탈을 효과적으로 포착함으로써 그 유효성을 검증한다.

실험 결과

연구 질문

• RQ1 추가 데이터 수집이 필요 없이 단일 고정 데이터셋을 사용하여 현실적인 분포 이탈에 대한 모델 강건성 평가가 가능한가?
• RQ2 어떻게 조건부 분포 이탈을 모델링하여 공변량 이탈 모델보다 더 현실적이고 세밀한 최악의 경우 성능 추정이 가능하게 할 수 있는가?
• RQ3 부수적 파rameter가 느린 수렴 속도를 보이는 기계학습 방법으로 추정될 경우 비편향 추정기가 √N-일치성을 유지할 수 있는가?
• RQ4 제안된 프레임워크는 전통적인 공변량 이탈 가정에서 포착되지 않는 이탈에 대해 얼마나 잘 강건성 문제를 탐지하고 정량화할 수 있는가?

주요 결과

• 제안된 프레임워크는 추가적인 데이터 수집 없이도 단일 검증 데이터셋만으로도 강건성 평가가 가능하게 하여, 여러 분포에 걸친 비용이 많이 드는 데이터 수집을 제거한다.
• 조건부 분포 이탈을 모델링함으로써, 전통적인 공변량 이탈 가정보다 더 현실적이고 세밀한 분포 이탈을 포착할 수 있다.
• 부수적 파rameter가 수렴 속도가 느린 기계학습 모델로 추정되더라도 비편향 추정기는 √N-일치성을 유지하여 신뢰할 수 있는 성능 추정을 보장한다.
• 실제 의료 위험 예측 과제에서, 공변량 이탈로 표현되지 않는 이탈 상황에서도 강건성 문제를 성공적으로 식별함으로써 그 실용성을 입증하였다.