[논문 리뷰] Estimating and Explaining Model Performance When Both Covariates and Labels Shift

Lingjiao Chen, Matei Zaharia외 1명|arXiv (Cornell University)|2022. 09. 18.

Anomaly Detection Techniques and Applications인용 수 9

한 줄 요약

이 논문은 라벨과 특징 양쪽의 분포 변화를 동시에 고려하는 분포 변화 모델인 Sparse Joint Shift(SJS)을 제안한다. 이는 라벨이 없는 데이터에 대해 정확한 성능 추정을 가능하게 한다. SJE라는 프레임워크를 도입하여 SJS를 기반으로 모델 성능을 추정하고 변화 기여도를 설명하며, 기존 방법들보다 여러 실세계 데이터셋에서 변화 추정 오차를 크게 향상시킨다.

ABSTRACT

Deployed machine learning (ML) models often encounter new user data that differs from their training data. Therefore, estimating how well a given model might perform on the new data is an important step toward reliable ML applications. This is very challenging, however, as the data distribution can change in flexible ways, and we may not have any labels on the new data, which is often the case in monitoring settings. In this paper, we propose a new distribution shift model, Sparse Joint Shift (SJS), which considers the joint shift of both labels and a few features. This unifies and generalizes several existing shift models including label shift and sparse covariate shift, where only marginal feature or label distribution shifts are considered. We describe mathematical conditions under which SJS is identifiable. We further propose SEES, an algorithmic framework to characterize the distribution shift under SJS and to estimate a model's performance on new data without any labels. We conduct extensive experiments on several real-world datasets with various ML models. Across different datasets and distribution shifts, SEES achieves significant (up to an order of magnitude) shift estimation error improvements over existing approaches.

연구 동기 및 목표

• 새로운 데이터에서 라벨이 제공되지 않을 때 특징과 라벨 양쪽의 분포 변화가 동시에 발생하는 상황에서 모델 성능을 추정하는 데 도전하는 것.
• 이동하지 않은 특징의 주변 분포가 그대로 유지되도록 하면서도 공동 이동을 포괄하는 통합 모델을 개발하는 것.
• 테스트 데이터에 라벨이 필요 없이 신뢰할 수 있는 성능 추정과 이동 효과 기여도 분석을 가능하게 하여 실세계 머신러닝 모니터링에 필수적인 것.
• 기존의 라벨 이동 모델과 희소 특징 이동 모델을 하나의 더 유연한 프레임워크로 일반화하는 것.
• 다양한 실세계 데이터셋에서 다양한 이동 유형을 가진 상황에서 방법의 효과성을 실증적으로 검증하는 것.

제안 방법

• 특징과 라벨 중 일부만 이동하고 나머지는 이동한 변수를 조건으로 조건부 독립을 유지한다는 가정 하에, 희소 공동 이동(SJS) 모델을 제안한다.
• 비이중성 조건을 도출하여, 공동 분포 이동이 이동하지 않은 특징과 라벨의 주변 분포로 유일하게 결정됨을 보장한다.
• SJS를 구조적 가정으로 사용하여 라벨이 없는 데이터에서의 모델 성능을 추정하는 SJE(이동 추정 및 해석) 프레임워크를 도입한다.
• 대상 데이터에 라벨이 필요 없이도 가능하도록 가능도 기반 최적화 방법을 사용하여 이동 파라미터와 성능 지표를 추정한다.
• 성능 변화를 개별 이동 요인(예: 라벨 이동 대비 특징 이동)에 따라 분해하여, 모델 성능 저하 원인을 설명할 수 있도록 한다.
• SJS 모델에서 유도된 제약 조건을 활용한 경험적 리스크 최소화 기법을 적용하여 추정의 일관성과 강건성을 확보한다.

실험 결과

연구 질문

• RQ1 특징과 라벨이 동시에 이동할 때, 라벨이 없는 데이터에서 모델 성능을 정확히 추정할 수 있는가?
• RQ2 라벨 이동과 특징 이동이 전체 성능 저하에 기여하는 정도를 어떻게 식별하고 정량화할 수 있는가?
• RQ3 특히 특징과 라벨 중 희소한 부분만 이동할 경우, SJS 모델이 현실적인 가정 하에 식별 가능한가?
• RQ4 라벨 이동과 공변량 이동이 동시에 존재할 때 SJE가 기존 방법보다 이동 추정 오차를 더 낮출 수 있는가?
• RQ5 이 프레임워크는 다양한 이동 구성 요소가 모델 성능에 미치는 상대적 영향을 어떻게 설명하는가?

주요 결과

• SJE는 여러 실세계 데이터셋에서 기존 방법 대비 이동 추정 오차를 최대 한 계단 정도 감소시켰다.
• 이 방법은 성능 저하의 주요 원인을 고도로 정밀하게 식별하여, 라벨 이동과 특징 이동의 기여도를 명확히 구분한다.
• SJS 가정 하에 이동하지 않은 특징이 약한 상관관계를 보일 경우 모델이 식별 가능하며, 공동 이동 분포를 유일하게 복원할 수 있다.
• 실증 평가 결과, 의료 영상 및 인구 통계적 이동과 같은 복잡하고 동시에 발생하는 특징과 라벨의 이동이 있는 데이터셋에서 SJE가 베이스라인 방법을 능가함을 보였다.
• 이 프레임워크는 라벨이 없는 데이터에 대해서도 신뢰할 수 있는 성능 추정을 가능하게 하여 실시간 모델 모니터링 및 배포에 적합하다.
• SJE는 성능 변화에 대한 해석 가능한 기여도를 제공하여, 실무에서 운영 중인 머신러닝 시스템에서 특정 이동 원인을 진단하고 대응할 수 있도록 한다.