[논문 리뷰] Conformal prediction beyond exchangeability

Rina Foygel Barber, Emmanuel J. Candès외 2명|arXiv (Cornell University)|2022. 02. 27.

Energy Load and Power Forecasting인용 수 7

한 줄 요약

이 논문은 비교환성 데이터와 비대칭 알고리즘을 다룰 수 있도록 콫리티티 예측을 일반화하기 위해 가중 침투값과 새로운 랜덤화 기법을 도입함으로써, 분포 이탈이나 비대칭 모델 피팅 조건 하에서도 증명 가능하게 강건한 커버리지 보장을 가능하게 하며, 커버리지 손실은 데이터 순열 간의 총 변동 거리의 가중 합으로 제한됨.

ABSTRACT

Conformal prediction is a popular, modern technique for providing valid predictive inference for arbitrary machine learning models. Its validity relies on the assumptions of exchangeability of the data, and symmetry of the given model fitting algorithm as a function of the data. However, exchangeability is often violated when predictive models are deployed in practice. For example, if the data distribution drifts over time, then the data points are no longer exchangeable; moreover, in such settings, we might want to use a nonsymmetric algorithm that treats recent observations as more relevant. This paper generalizes conformal prediction to deal with both aspects: we employ weighted quantiles to introduce robustness against distribution drift, and design a new randomization technique to allow for algorithms that do not treat data points symmetrically. Our new methods are provably robust, with substantially less loss of coverage when exchangeability is violated due to distribution drift or other challenging features of real data, while also achieving the same coverage guarantees as existing conformal prediction methods if the data points are in fact exchangeable. We demonstrate the practical utility of these new tools with simulations and real-data experiments on electricity and election forecasting.

연구 동기 및 목표

• 분포 이탈 또는 비-i.i.d. 데이터 조건에서 교환성 가정이 성립하지 않을 경우 콕리티티 예측의 한계를 해결하기 위해.
• 시간적 시리즈나 변화하는 데이터 환경에서 최근 또는 관련 있는 데이터 포인트를 더 중시하는 비대칭 알고리즘의 사용을 가능하게 하기 위해.
• 교환성이 위반되더라도 명목 수준에 가까운 이론적 커버리지 보장을 제공하기 위해.
• 데이터 분포에 대한 최소한의 가정(예: i.i.d. 또는 교환성 요구 없음)으로도 전체 커버리지 유효성을 유지하는 프레임워크를 개발하기 위해.
• 비교환성으로 인한 커버리지 손실을 정량화하고 제한하기 위한 잔차 기반의 가중치 접근법을 도입하기 위해.

제안 방법

• 교정 단계에서 먼 또는 덜 관련 있는 데이터 포인트의 영향을 줄이기 위해 콕리티티 예측 프레임워크에 가중 침투값을 도입하기 위해.
• 비대칭 알고리즘을 유지하면서도 유효한 커버리지 보장을 유지할 수 있도록 하는 랜덤화 기법을 제안하기 위해.
• 명목 커버리지와 실제 커버리지의 차이인 커버리지 갭을 정의하고, 이를 각 훈련 포인트와 테스트 포인트를 교환한 후의 잔차 벡터 간의 총 변동 거리의 가중 합으로 제한하기 위해.
• 잔차의 가중 경험 분포를 사용하여 '이상치' 포인트를 정의하고, 이러한 포인트의 가중 비율이 α 이하로 제한됨을 보장하기 위해.
• 비커버리지의 확률적 한계를, 테스트 포인트가 순열된 데이터 구성에서 '이상치'로 분류될 사건과 연관지어 유도하기 위해.
• 데이터 순열에 따른 잔차 벡터 간의 총 변동 거리를 활용하여 비교환성에 대한 민감도를 정량화하고, 강건성을 확보하기 위해.

실험 결과

연구 질문

• RQ1 분포 이탈로 인해 데이터 포인트가 비교교환성이 없어질 경우 콕리티티 예측이 어떻게 유지될 수 있는가?
• RQ2 비대칭 알고리즘을 사용할 수 있도록 콕리티티 예측 프레임워크에 어떤 수정이 필요한가?
• RQ3 비교환성 데이터 하에서 커버리지 손실에 대한 이론적 한계를 유도할 수 있으며, 그에 따라 어떤 요소에 의존하는가?
• RQ4 교환성이 위반되었을 때 기존의 콕리티티 예측과 비교해 제안된 방법의 커버리지 정확도는 어떻게 다른가?
• RQ5 데이터 가중치와 랜덤화가 비-i.i.d. 또는 비교환성 데이터 하에서 커버리지 안정성에 어떤 역할을 하는가?

주요 결과

• 커버리지 갭—명목 커버리지와 실제 커버리지의 차이로 정의되며, 각 훈련 포인트와 테스트 포인트를 교환한 후의 잔차 벡터 간의 총 변동 거리의 가중 합으로 제한됨.
• 데이터가 비교가능할 경우 제안된 방법은 표준 콕리티티 예측과 동일한 커버리지 보장을 달성하여 기존 이론과의 일관성을 확보함.
• 분포 이탈이 존재하는 상황에서도 메서드는 명목 수준에 가까운 커버리지를 유지함을 시뮬레이션 및 전기 및 선거 예측과 같은 실데이터 실험을 통해 입증됨.
• 가중 침투값과 랜덤화의 사용은 강건한 비교환성 데이터 처리를 가능하게 하며, 강력한 분포 가정이 필요 없음.
• 커버리지 손실에 대한 이론적 한계는 데이터 순열 간의 총 변동 거리에만 의존하므로, 데이터의 공동 분포가 알려지지 않은 경우에도 적용 가능함.
• ELEC2 데이터셋에 대한 실증 결과는 표준 콕리티티 예측이 이탈으로 인해 시간이 지남에 따라 커버리지를 상실하는 반면, 제안된 비교환성 방법은 약 90%의 커버리지를 유지함을 보여줌.