[논문 리뷰] Adaptive Conformal Inference Under Distribution Shift

Isaac Gibbs, Emmanuel J. Candès|arXiv (Cornell University)|2021. 06. 01.

Machine Learning and Data Classification참고 문헌 27인용 수 27

한 줄 요약

이 논문은 Adaptive Conformal Inference (ACI), 비정상 데이터에서 단일 시프트 매개변수를 온라인으로 업데이트하여 예측 집합의 목표 커버리지를 유지하는 온라인 프레임워크를 소개합니다. 이는 어떤 블랙박스 예측기와도 통합되며, 분포 드리프를 처리하기 위해 예측을 보정합니다.

ABSTRACT

We develop methods for forming prediction sets in an online setting where the data generating distribution is allowed to vary over time in an unknown fashion. Our framework builds on ideas from conformal inference to provide a general wrapper that can be combined with any black box method that produces point predictions of the unseen label or estimated quantiles of its distribution. While previous conformal inference methods rely on the assumption that the data points are exchangeable, our adaptive approach provably achieves the desired coverage frequency over long-time intervals irrespective of the true data generating process. We accomplish this by modelling the distribution shift as a learning problem in a single parameter whose optimal value is varying over time and must be continuously re-estimated. We test our method, adaptive conformal inference, on two real world datasets and find that its predictions are robust to visible and significant distribution shifts.

연구 동기 및 목표

• 데이터 분포가 시간이 지남에 따라 드리프트하는 온라인 설정에서 보장된 커버리지를 가지는 예측 집합 절차의 동기를 부여하고 개발합니다.
• 정상성 가정 없이도 장기 커버리지를 유지하는 간단하고 모델에 독립적인 보정 메커니즘을 제공합니다.
• 배포 시프트에 노출된 실제 데이터셋에서 방법의 강건성을 시연합니다.

제안 방법

• 점 예측이나 분위수와 같은 임의의 예측기 출력과 결합될 수 있는 conformity-score 프레임워크를 사용합니다.
• 시프트 보정된 알파 매개변수에 대한 온라인 업데이트 규칙을 도입합니다: alpha_{t+1} = alpha_t + gamma (alpha - err_t).
• 적응적 예측 집합이 alpha_t를 사용하여 Y_t가 벗어나는지 여부에 따라 오오버커버를 정의합니다.
• alpha_t의 보정을 허용하여 근사적 또는 정확한 주변 커버리지 M_t(alpha_t) ≈ alpha를 달성하도록 alpha_t를 적응적으로 재추정합니다.
• 두 가지 단순한 업데이트 변형(식(2) 및 식(3))을 논의하고 스텝 사이즈 gamma의 트레이드오프를 논의합니다.
• 분포 드리프트 하에서의 이론적 보장을 제공합니다. 장기 커버리지와 숨겨진 마르코프 모델(setting)에서의 집중 경계 포함.

실험 결과

연구 질문

• RQ1 데이터 분포가 시간이 지남에 따라 변동할 때 합법적 커버리지를 가진 conformal 예측 집합을 유지할 수 있습니까?
• RQ2 단일 매개변수 온라인 적응이 데이터 생성 프로세스에 무관하게 분포 드프트를 감지하고 보상할 수 있는 방법은 무엇입니까?
• RQ3 비정상성 하에서의 적응형 conformal 추론에 대한 이론적 보장(장기 커버리지, 집중성)은 무엇입니까?
• RQ4 눈에 보이는 분포 변화가 있는 실제 데이터세트에서 ACI의 성능은 어떠합니까? (예: 금융 변동성, 선거일 예측).

주요 결과

• ACI는 데이터 생성 프로세스와 무관하게 목표 장기 커버리지 빈도를 달성합니다.
• 안정적인 시프트의 경우, 대부분의 시점에서 근사적 주변 커버리지를 달성할 수 있습니다.
• 스텝 사이즈 gamma는 적응성과 안정성 사이의 트레이드오프를 형성합니다; 중간 값(예: gamma = 0.005)이 실험에서 안정적이면서도 반응적 동작을 보였습니다.
• ACI는 상당한 분포 변화에도 강건하며 비적응적 conformal 방법이 실패하는 경우(예: 금융 위기에서의 변동성 예측)에도 우수한 성능을 보입니다.
• 이 방법은 conformal 분위수 회귀 및 다른 conformity 스코어와 결합되어 커버리지를 유지하면서 모델이 정확할 때 예측 집합을 더 짧게 만드는 것을 가능하게 할 수 있습니다.