[논문 리뷰] Conformal calibrators

Vladimir Vovk, Ivan Petej외 2명|arXiv (Cornell University)|2019. 02. 18.

Probabilistic and Robust Engineering Design참고 문헌 12인용 수 6

한 줄 요약

이 논문은 기존 예측 시스템의 초기 유효성과 관계없이 테스트 객체에 대해 예측 분포를 완전히 적응시키는 conformal calibrators—즉, 어떤 기존 예측 시스템이든 보정할 수 있는 방법—을 소개한다. 이 방법은 확률적 보정을 보장하며, IID 가정 없이도 작동하여 인위적 및 벤치마크 데이터셋에서 예측 성능을 크게 향상시킨다.

ABSTRACT

Most existing examples of full conformal predictive systems, split-conformal predictive systems, and cross-conformal predictive systems impose severe restrictions on the adaptation of predictive distributions to the test object at hand. In this paper we develop split-conformal and cross-conformal predictive systems that are fully adaptive. Our method consists in calibrating existing predictive systems; the input predictive system is not supposed to satisfy any properties of validity, whereas the output predictive system is guaranteed to be calibrated in probability. It is interesting that the method may also work without the IID assumption, standard in conformal prediction.

연구 동기 및 목표

• 기존 방법의 한계를 극복하면서 테스트 객체에 대해 완전히 적응하는 split-conformal 및 cross-conformal 예측 시스템을 개발하는 것.
• 기본 시스템의 초기 유효성과 관계없이 임의의 예측 시스템을 반드시 확률적 보정이 보장되는 것으로 보정하는 것.
• 기존 conformal 예측에서 일반적으로 사용하는 IID 가정이 느슨해져도 보정 절차가 여전히 효과를 가지는지 확인하는 것.
• 인위적 및 벤치마크 데이터셋에서 제안된 방법의 실용적 성능을 평가하여 기본 예측 시스템보다 향상됨을 보여주는 것.

제안 방법

• 모든 입력 예측 시스템에 conformalization 절차를 적용하여, 무작위 conformal 전환기를 통해 보정된 출력 시스템으로 변환하는 방법.
• 학습 데이터를 학습 세트와 별도의 보정 세트로 나누어 적합도 점수를 계산하는 split-conformal 프레임워크를 사용하는 방법.
• 적합도 측정 기준은 기본 예측 시스템 출력의 누적분포함수로 정의되며, 이는 단조성과 적절한 스케일링을 보장한다.
• 적합도 점수의 확률적 적분 변환을 사용하여 출력 예측 분포를 구성함으로써, 근본 가설 하에서 균일성을 확보한다.
• 적합도 점수의 엄격히 증가하는 변환에 대해 보정 과정이 불변이므로, 기본 시스템 설계에 유연성을 부여한다.
• 적합도 점수가 균일 분포이면서 상호 독립일 경우, 결과 예측 시스템은 확률적 보정이 보장됨을 활용한다.

실험 결과

연구 질문

• RQ1 테스트 객체에 대해 완전히 적응하면서도 확률적 보정을 유지하는 예측 시스템을 구성할 수 있는가?
• RQ2 기존 conformal 예측에서 일반적으로 사용하는 IID 가정이 느슨해져도 conformal 보정 절차가 여전히 효과를 가지는가?
• RQ3 인위적 및 벤치마크 데이터셋에서 제안된 방법을 사용해 보정한 후 기본 예측 시스템의 성능은 어떻게 향상되는가?
• RQ4 비선형적으로 잘못 보정된 예측 시스템은 기본 시스템의 유효성에 대한 사전 가정 없이도 보정을 통해 수정될 수 있는가?
• RQ5 보정된 시스템의 조건부 예측 성능는 어떠한가? 그리고 이를 개체 조건부(Mondrian) 접근법을 사용해 추가로 최적화할 수 있는가?

주요 결과

• conformal calibrator는 기본 시스템의 초기 성질과 관계없이 반드시 확률적 보정이 보장되는 예측 시스템으로 변환한다.
• 이질적 분산 노이즈가 있는 토이 인위적 데이터셋에서, 보정된 Nadaraya–Watson 예측 시스템은 다양한 밴드위드 파rameter 범위에서 CRPS(연속적 랭크 확률 점수)에서 뚜렷한 향상을 보였다.
• 기본 시스템이 완벽한 해상도를 지녔지만 낮은 보정도를 보였을 경우, $\phi(u) = u^2$와 같은 비선형 변환을 통해 보정 절차가 예측 성능 향상에 기여했음을 입증하였다.
• 조건부 분포함수가 연속이고 적합도 점수가 균일 분포일 경우, IID 가정 없이도 방법이 유효하다.
• 나쁜 보정도를 보이는 기본 시스템의 conformalized 버전은 진짜 조건부 분포로 신속하게 수렴하는 반면, 원래 시스템은 여전히 잘못 보정된 상태를 유지한다.
• 실험 결과, 다양한 파rameter 설정에서 보정된 시스템이 기본 시스템보다 CRPS 측면에서 뛰어난 성능을 보이며, 이는 예측 정확도 향상의 강력한 증거이다.