[논문 리뷰] Tracking the risk of a deployed model and detecting harmful distribution shifts

Aleksandr Podkopaev, Aaditya Ramdas|arXiv (Cornell University)|2021. 10. 12.

Anomaly Detection Techniques and Applications인용 수 5

한 줄 요약

이 논문은 시간에 따라 일관된 신뢰구간을 사용하여 지속적인 모니터링을 가능하게 하면서도 거짓 경고율을 증가시키지 않는, 시간에 따라 일관된 신뢰구간을 활용한 위험 함수(예: 정확도, 校정성)의 유의미한 증가 여부를 검증함으로써, 배포된 기계학습 모델에서 유해한 분포 이탈을 순차적으로 탐지하기 위한 프레임워크를 제안한다. 이 방법은 유해한 이탈과 유해하지 않은 이탈을 구분하며, 최소한의 샘플로 위험 증가를 탐지한다. 시뮬레이션 및 실제 데이터셋(예: 손상된 MNIST, CIFAR-10)을 통해 검증되었다.

ABSTRACT

When deployed in the real world, machine learning models inevitably encounter changes in the data distribution, and certain -- but not all -- distribution shifts could result in significant performance degradation. In practice, it may make sense to ignore benign shifts, under which the performance of a deployed model does not degrade substantially, making interventions by a human expert (or model retraining) unnecessary. While several works have developed tests for distribution shifts, these typically either use non-sequential methods, or detect arbitrary shifts (benign or harmful), or both. We argue that a sensible method for firing off a warning has to both (a) detect harmful shifts while ignoring benign ones, and (b) allow continuous monitoring of model performance without increasing the false alarm rate. In this work, we design simple sequential tools for testing if the difference between source (training) and target (test) distributions leads to a significant increase in a risk function of interest, like accuracy or calibration. Recent advances in constructing time-uniform confidence sequences allow efficient aggregation of statistical evidence accumulated during the tracking process. The designed framework is applicable in settings where (some) true labels are revealed after the prediction is performed, or when batches of labels become available in a delayed fashion. We demonstrate the efficacy of the proposed framework through an extensive empirical study on a collection of simulated and real datasets.

연구 동기 및 목표

• 모든 분포 이탈을 탐지하는 기존 방법의 한계를 해결하기 위해, 피해 여부에 관계없이 모든 이탈을 탐지함으로써 불필요한 간섭을 유발하는 문제를 해결한다.
• 거짓 경고율을 증가시키지 않으면서도, 지속적이고 실시간으로 배포된 모델을 모니터링할 수 있도록 한다.
• 모델 위험의 유의미한 증가(예: 오분류율, Brier 점수)를 검증함으로써, 유해한 이탈과 유해하지 않은 이탈을 구분한다.
• 라벨이 지연되거나 배치로 도착하는 상황에서도 적용 가능한 실용적인 순차적 검증 프레임워크를 제공한다.
• 합성 및 실제 데이터 모두에서 방법을 검증하며, 손상된 이미지 벤치마크(MNIST-C, CIFAR-10-C)를 포함한다.

제안 방법

• 유해한 분포 이탈 탐지를 소스(학습) 분포와 타겟(검증) 분포 간의 위험 함수 증가에 대한 순차적 가설 검정으로 공식화한다.
• 시간에 따라 일관된 신뢰구간을 사용하여 통계적 증거를 지속적으로 집계함으로써, 다중성 문제 없이 시간에 따라 유효한 추론을 보장한다.
• 베팅 기반 상한 신뢰구간과 공액-혼합 경험 베르누이-베르누이 경계를 사용하여 소스 및 타겟 도메인에서의 위험를 순차적으로 추정한다.
• 위험 차이를 순차적으로 추정하고, 높은 신뢰도로 유의미한 증가(예: 5% 또는 10%)가 감지될 경우에만 경고를 발동한다.
• 지연되거나 배치로 도착하는 라벨이 있는 환경에 적합하도록 설계되어 실제 배포에 적합하다.
• 오차 통제를 유지하기 위해 순차적 확률 비율 검정(SPRF)과 콫래티브 예측 원칙을 사용하여 프레임워크를 구현한다.

실험 결과

연구 질문

• RQ1 순차적 검증 프레임워크는 거짓 경고율을 증가시키지 않으면서도, 피해가 있는 이탈은 탐지하고 피해가 없는 이탈은 간과할 수 있는가?
• RQ2 지연되거나 배치로 도착하는 라벨 하에서, 모델 위험의 유의미한 증가(예: 오분류 또는 校정 오차)를 탐지하는 데에 이 방법은 얼마나 효과적인가?
• RQ3 표준 방법이 실패하는 경우에도, 최소한의 샘플 수로 프레임워크가 유해한 이탈을 탐지할 수 있는가?
• RQ4 복잡하고 비-i.i.d.인 실제 손상된 데이터셋(MNIST-C, CIFAR-10-C)에서 이 방법은 어떻게 성능을 발휘하는가?
• RQ5 특히 비순차적 또는 콕래티브 테스트 마팅갈 기반 접근법과 비교할 때, 순차적 모니터링 하에서도 통계적 타당성이 유지되는가?

주요 결과

• 최소한의 샘플 수로도 유해한 분포 이탈을 성공적으로 탐지하며, 예를 들어 소수의 타겟 샘플만 처리한 후에 10%의 오분류 위험 증가를 식별할 수 있다.
• MNIST-C 및 CIFAR-10-C 벤치마크에서, 이 방법은 안전한 손상(예: 안개)에 대해서만 경고를 발동하고, 피해가 덜한 손상은 간과함으로써, 피해가 있는 이탈과 피해가 없는 이탈을 구분할 수 있음을 보여준다.
• 시간에 따라 일관된 신뢰구간의 사용으로 인해, 지속적인 모니터링 하에서도 거짓 경고율이 제어됨을 보장하며, 비순차적 검정은 오류율이 증가하는 반면 이를 피한다.
• 높은 통계적 검정력 유지를 유지하며, 특히 예측 집합 구성에서 낮은 오류 임계치(예: β = 0.05)를 사용할 경우 표준 방법보다 위험 증가를 더 이르게 탐지한다.
• 공변수 이탈 시뮬레이션에서, 소스 분포에서 학습된 로지스틱 회귀 모델이 타겟에서 특성 분포의 불일치로 인해 실패함을 빠른 샘플 수에서 정확히 식별하고 경고를 발동한다.
• 데이터 손상이 심해질수록 예측 집합의 평균 크기가 증가하며 이는 불확실성을 반영하지만, 가장 심각한 손상에 대해서는 여전히 근본가설(위험 증가 없음)을 기각함으로써, 이 프레임워크가 유해한 이탈에 민감하게 반응함을 확인한다.