[논문 리뷰] Evaluating Robustness to Dataset Shift via Parametric Robustness Sets

Nikolaj Thams, Michael Oberst외 1명|arXiv (Cornell University)|2022. 05. 31.

Machine Learning and Data Classification참고 문헌 36인용 수 5

한 줄 요약

이 논문은 인과 기제의 변동을 통해 분포 변화를 모델링함으로써, 현실적인 데이터셋 이탈 상황에서 모델의 견고성을 사전에 평가하기 위해 매개변수적 견고성 집합을 도입한다. 이는 이탈 하에서 손실의 이차 근사값을 제안하여 비볼록 2차 프로그래밍 최적화를 통해 효율적인 악성 이탈 탐지가 가능하게 하며, 근사 오차에 대한 이론적 경계와 성능 검증을 통해 비인과적 특성 이탈에 대한 민감도를 입증한다.

ABSTRACT

We give a method for proactively identifying small, plausible shifts in distribution which lead to large differences in model performance. These shifts are defined via parametric changes in the causal mechanisms of observed variables, where constraints on parameters yield a "robustness set" of plausible distributions and a corresponding worst-case loss over the set. While the loss under an individual parametric shift can be estimated via reweighting techniques such as importance sampling, the resulting worst-case optimization problem is non-convex, and the estimate may suffer from large variance. For small shifts, however, we can construct a local second-order approximation to the loss under shift and cast the problem of finding a worst-case shift as a particular non-convex quadratic optimization problem, for which efficient algorithms are available. We demonstrate that this second-order approximation can be estimated directly for shifts in conditional exponential family models, and we bound the approximation error. We apply our approach to a computer vision task (classifying gender from images), revealing sensitivity to shifts in non-causal attributes.

연구 동기 및 목표

• 학습 데이터와 도메인 지식만을 사용하여 데이터셋 이탈에 대한 모델 견고성을 사전 평가하는 것.
• 조건부 지수가우스 분포 모델의 매개변수적 변형을 통해 인과적으로 해석 가능하고 현실적인 분포 변화 집합을 정의하는 것.
• 이러한 변형 하에서 기대 손실을 최대화하는 악성 이탈을 효율적으로 식별하는 방법을 개발하는 것.
• 가장 치명적인 현실 가능한 이탈을 식별함으로써 모델의 약점을 해석 가능하고 실천 가능한 통찰으로 제공하는 것.

제안 방법

• 관측 변수의 조건부 분포에서의 매개변수적 변화로 데이터셋 이탈을 모델링하며, 현실성을 확보하기 위해 유계 매개변수 공간 ∆를 사용한다.
• 이격된 분포를 학습 분포의 재가중치화로 표현함으로써 손실 추정을 위한 중요도 샘플링이 가능해진다.
• 이슬하에서 기대 손실의 국소적 이차 타일러 근사값을 유도하여 고분산 재가중치 추정을 피한다.
• 최악의 이탈 탐지를 비볼록 2차 제약 조건을 가진 2차 프로그래밍(QCQP) 문제로 변환하여 효율적인 최적화 알고리즘으로 해결할 수 있다.
• 이차 근사 목적 함수의 근사 오차를 경계하여 식별된 최악의 이탈의 신뢰성을 확보한다.
• 기본형 표현식을 가진 조건부 지수가우스 분포 모델(예: 가우스 및 이산 조건부 분포 포함)에 이 방법을 적용하며, 이격된 기울기와 헤시안의 닫힌 형태 표현식을 제공한다.

실험 결과

연구 질문

• RQ1 어떻게 현실적이며 인과적으로 해석 가능한 분포 변화 집합을 정의할 수 있으며, 이는 데이터 생성 과정의 실제 세계적 변화를 반영할 수 있는가?
• RQ2 이러한 변화가 모델 성능에 미치는 영향은 무엇이며, 유계 매개변수 공간 내에서 최악의 이탈을 효율적으로 식별할 수 있는가?
• RQ3 이슬하에서 손실의 이차 근사는 중요도 샘플링에 비해 신뢰성 있고 계산적으로 효율적인 대안이 될 수 있는가?
• RQ4 이차 근사 목적 함수의 근사 오차는 진짜 최악의 손실과 비교해 어떻게 되며, 의미 있는 적대적 이탈을 식별할 수 있는가?
• RQ5 모델은 테스트 정책이나 인구 통계적 대체 변수와 같은 비인과적 특성의 이탈에 얼마나 민감한가?

주요 결과

• 이슬하에서 기대 손실의 이차 근사는 특히 작은 이슬하에서 중요도 샘플링에 비해 신뢰성 있고 분산이 낮은 대안을 제공한다.
• 매개변수 공간 ∆가 2차 제약 조건이면 최악의 이탈 탐지 문제는 비볼록 QCQP로 효율적으로 해결 가능하여 확장 가능한 최적화가 가능하다.
• 이 방법은 컴퓨터 비전 작업에서 영향력 있는 적대적 이탈을 성공적으로 식별하였으며, 테스트 정책과 같은 비인과적 특성의 이탈에 매우 민감한 것을 드러냈다.
• 근사 오차에 대한 이론적 경계는 작은 변형 하에서 이차 근사 목적 함수가 진짜 최악의 손실을 잘 따라가며, 신뢰할 수 있음을 보여준다.
• 실험에서, 모든 건강한 환자가 검사되고 암환자는 검사되지 않는 것과 같은 비현실적이지만 최악의 시나리오의 이탈을 식별함으로써, 모델의 취약점을暴露하는 데 성공했다.
• 가우스 모델의 경우, 이격된 기울기와 헤시안이 닫힌 형태로 유도되어 평균 이슬하에서 손실의 정확한 이차 근사가 가능하다.