[논문 리뷰] Diagnosing Model Performance Under Distribution Shift

Tiffany Tiffany, Hongseok Namkoong외 1명|arXiv (Cornell University)|2023. 03. 03.

Artificial Intelligence in Healthcare인용 수 5

한 줄 요약

이 논문은 분포 이탈 상황에서 기계학습 모델의 성능 저하를 세 가지 요소로 분해하는 진단 프레임워크인 DIstribution Shift DEcomposition (DISDE)를 제안한다: 공통 공변량 공간 내에서의 어려운 예제 빈도 증가, 레이블-특징 관계($Y\mid X$)의 변화, 희귀하거나 미관측 공변량에 대한 일반화 부족. 이 방법은 이분법적 도메인 분류기를 통해 정의된 공통 분포를 사용하여 이러한 기여도를 분리하고 정량화함으로써, 실제 운영 환경에서의 타겟 모델 개선을 가능하게 한다.

ABSTRACT

Prediction models can perform poorly when deployed to target distributions different from the training distribution. To understand these operational failure modes, we develop a method, called DIstribution Shift DEcomposition (DISDE), to attribute a drop in performance to different types of distribution shifts. Our approach decomposes the performance drop into terms for 1) an increase in harder but frequently seen examples from training, 2) changes in the relationship between features and outcomes, and 3) poor performance on examples infrequent or unseen during training. These terms are defined by fixing a distribution on $X$ while varying the conditional distribution of $Y \mid X$ between training and target, or by fixing the conditional distribution of $Y \mid X$ while varying the distribution on $X$. In order to do this, we define a hypothetical distribution on $X$ consisting of values common in both training and target, over which it is easy to compare $Y \mid X$ and thus predictive performance. We estimate performance on this hypothetical distribution via reweighting methods. Empirically, we show how our method can 1) inform potential modeling improvements across distribution shifts for employment prediction on tabular census data, and 2) help to explain why certain domain adaptation methods fail to improve model performance for satellite image classification.

연구 동기 및 목표

• 분포 이탈 조건에서 기계학습 모델의 성능 저하 원인을 진단하기 위해.
• 성능 저하를 데이터 분포 및 모델 행동의 변화와 관련된 구분 가능한 해석 가능한 성분들로 분해하기 위해.
• 특정 유형의 분포 이탈(예: 공변량 이슬픔 또는 개념 이슬픔)에 기인한 실패 모드를 할당하여 모델 개선을 이끌어내기 위해.
• 감지 기능을 넘어서 성능 저하의 *이유*를 설명할 수 있는 확장 가능한 진단 도구를 제공하기 위해.
• 학습, 배포, 운영 분포 간의 모델 신뢰성 평가 및 향상에 체계적인 프레임워크를 구축하기 위해.

제안 방법

• 학습 및 타겟 분포 간에 공통되는 공변량 $X$에 대해 공통 분포 $S_X$를 정의하기 위해 이분법적 도메인 분류기를 사용하여 소속도를 추정한다.
• 공통 분포 기준으로 성능 저하를 추정하고, 이를 세 가지 성분으로 분해한다: (1) $S_X$ 내에서 어려운 예제의 빈도 증가, (2) $S_X$ 상에서 $Y\mid X$의 이슬픔, (3) 희귀하거나 학습 중에 미관측된 $X$ 값에서의 열악한 성능.
• 인과 추론에서의 성향 스코어와 유사한 가중치 체계를 사용하여 공통 지원 영역을 정의함으로써, 겹치는 영역에서의 모델 성능 추정을 안정화시킨다.
• 실제 데이터셋에 적용하여 진단 유용성을 검증한다. 예를 들어, 고용 예측을 위한 표본화된 인구 조사 데이터와 위성 이미지 분류 데이터를 활용한다.
• 공통 분포 하에서 경험적 리스크 최소화를 통해 세 가지 분해 항목을 추정하며, 손실 함수는 $\mathbb{E}[\ell(f(X), Y)]$로 표현된다.
• 기준 데이터셋을 사용하여 프레임워크를 검증하고, 기존의 도메인 적응 및 강건성 방법과 비교함으로써 진단적 가치를 입증한다.

실험 결과

연구 질문

• RQ1 성능 저하의 정도 중 얼마나 많은 비중이 공통 공변량 공간 내 어려운 예제의 빈도 변화에서 기인하는가?
• RQ2 성능 저하의 어느 정도가 공통 분포 상에서 $Y\mid X$의 조건부 관계 변화에서 기인하는가?
• RQ3 희귀하거나 학습 중에 미관측된 공변량 값에 대한 일반화 부족으로 인한 성능 저하는 어느 정도인가?
• RQ4 이 분해 프레임워크는 도메인 적응 또는 기타 방법이 실패할 가능성이 있는 상황과 그 이유를 식별할 수 있는가?
• RQ5 이 진단은 일반적인 재학습 또는 재가중치 조정이 아닌, 특정 실패 유형에 맞는 타겟 모델 개선 전략을 어떻게 안내할 수 있는가?

주요 결과

• DISDE는 표본화된 인구 조사 데이터를 활용한 고용 예측에서 어려운 예제의 빈도 증가와 $Y\mid X$의 변화가 성능 저하의 주요 원인임을 정확히 진단하여, 특징 공학 및 재가중치 조정 전략 수립에 기여한다.
• 위성 이미지 분류 사례에서는 DISDE가 일부 도메인 적응 방법이 실패하는 이유를 설명한다: 주요 성능 저하는 공변량 이슬픔이 아니라 $Y\mid X$의 이슬픔에서 기인하며, 이는 단지 $X$ 이슬픔에 대응하는 적응 방법만으로는 부족하다는 것을 시사한다.
• 프레임워크는 성능 저하의 대부분이 공변량의 주변 이슬픔보다는 레이블-특징 관계($Y\mid X$)의 변화에 의해 주도된다는 점을 드러내며, 많은 기존 적응 방법에서의 가정을 도전한다.
• 분해 분석을 통해 성능 저하의 상당 부분이 희귀하거나 학습 중에 미관측된 공변량 값에서 발생함을 확인하여, 제한적이거나 편향된 데이터로 학습된 모델의 한계를 부각시킨다.
• 실증 결과는 DISDE가 실질적인 통찰을 제공함을 보여준다: 개선 조치는 주로 실패 유형에 맞게 맞춤화되어야 하며, 예를 들어 $Y\mid X$ 이슬픔에는 인과 모델링, 분포 외 일반화에는 데이터 수집 전략이 필요하다.
• 기존의 모니터링 시스템은 성능 저하를 감지할 뿐 원인 분석이 부족한데, DISDE는 이러한 격차를 메우며 근본 원인 분석을 가능하게 한다.