[논문 리뷰] Probabilistic Conformal Prediction Using Conditional Random Samples

Zhendong Wang, Ruijiang Gao외 3명|arXiv (Cornell University)|2022. 06. 14.

Neural Networks and Applications인용 수 4

한 줄 요약

이 논문은 조건부 생성 모델에서 샘플을 추출하고 샘플 주위에 구의 합집합을 형성하여 다중모달성 및 다중목표 회귀에서 날카롭고 타당한 예측 집합을 구성하는 확률적 콘포멀 예측(PCP)을 소개한다. PCP는 유한 표본에서의 여유 있는 커버리지 보장을 보장하며, 택시 내리기 위치와 같이 복잡하고 비연속적인 목표 분포에서 기존의 콘포멀 방법보다 날카롭게 성능을 냅니다.

ABSTRACT

This paper proposes probabilistic conformal prediction (PCP), a predictive inference algorithm that estimates a target variable by a discontinuous predictive set. Given inputs, PCP construct the predictive set based on random samples from an estimated generative model. It is efficient and compatible with either explicit or implicit conditional generative models. Theoretically, we show that PCP guarantees correct marginal coverage with finite samples. Empirically, we study PCP on a variety of simulated and real datasets. Compared to existing methods for conformal inference, PCP provides sharper predictive sets.

연구 동기 및 목표

• 목표 분포가 다중모달일 경우 기존의 콘포멀 예측 방법이 연속적이며 지나치게 넓은 예측 집합을 생성하는 데서 비롯되는 한계를 해결하기 위해.
• 목표의 밀도 구조에 적응함으로써 더 날카우면서도 정보량이 많은 예측 집합을 생성하면서도, 유한 표본에서의 여유 있는 커버리지 보장을 유지하는 방법을 개발하기 위해.
• 명시적 및 암시적 조건부 생성 모델, 특히 가능도 기반 설정과도 호환 가능하도록 하기 위해.
• 목표 간의 의존성을 고밀도 집합 구축을 통해 포괄함으로써 다중목표 회귀로 이 프레임워크를 확장하기 위해.
• 합성 및 실제 데이터셋을 포함한 다양한 데이터 세트에서 PCP의 날카움과 타당한 커버리지가 실증적으로 입증되기 위해.

제안 방법

• PCP는 데이터를 초도 집합과 校정 집합으로 나누어 초도 집합에서 조건부 생성 모델을 학습합니다.
• 각 校정 점에 대해, 적합된 모델에서 K개의 독립적 샘플을 추출하고, 각 샘플과 진짜 레이블 사이의 거리로 비일관성 점수를 계산합니다.
• 그런 다음 이 비일관성 점수들의 (1−α) 경험적 분위수를 계산하여 예측 구의 반경을 정의합니다.
• 새로운 입력에 대해 PCP는 모델에서 K개의 샘플을 추출하고, 각 샘플 중심에 반경이 校정 분위수와 같은 구를 형성하며, 이들의 합집합을 예측 집합으로 삼습니다.
• 고밀도 PCP(HD-PCP)는 더 높은 확률을 가진 샘플들만 선택함으로써 집합을 더욱 흐린 상태로 개선하여 희소성과 해석 가능성 향상을 도모합니다.
• 이 방법은 암시적 모델과도 호환되며, 조건부 분포에서 랜덤 샘플을 생성할 수 있으면서만 요구됩니다.

실험 결과

연구 질문

• RQ1 연속적인 간격이 최적화되지 않은 다중모달 목표 분포에 대해, 콘포멀 예측 방법이 타당하고 날카로운 예측 집합을 생성할 수 있는가?
• RQ2 암시적 또는 가능도 기반 설정의 조건부 생성 모델과 효율적으로 작동하도록 콘포멀 예측을 어떻게 적응시킬 수 있는가?
• RQ3 생성 모델에서 유한한 수의 랜덤 샘플을 기반으로 한 구의 합집합 접근 방식이 유한 표본에서의 여유 있는 커버리지 보장을 유지하는가?
• RQ4 실제 및 합성 데이터에서 PCP의 집합 크기와 커버리지 측면에서 기존의 콘포멀 방법과의 성능 비교는 어떻게 되는가?
• RQ5 PCP와 HD-PCP는 날카움과 타당성을 유지하면서 다중목표 회귀에서 목표 간의 의존성을 효과적으로 모델링할 수 있는가?

주요 결과

• 이론적으로 증명된 바와 같이, PCP는 유한 표본에서도 타당한 여유 있는 커버리지 성능을 달성하여, 진짜 레이블이 예측 집합에 포함될 확률이 최소 1−α 이상이 되도록 보장합니다.
• 뉴욕 택시 데이터셋에서 PCP와 HD-PCP는 CDSplit과 CHR보다 유의미하게 날카로운 예측 집합을 생성하며, 서로 다른 이격된 지역과 공항을 포괄하면서도 그 사이의 저밀도 영역은 포함하지 않습니다.
• 다중목표 회귀에서 HD-PCP는 CDSplit과 CHR 대비 예측 집합 크기를 최대 50%까지 줄이며, 83%의 쌍별 비교에서 HD-PCP가 더 날카로움을 보입니다.
• 증가하는 상관관계 ρ를 가진 합성 데이터에서, PCP와 HD-PCP는 집합 크기를 유지하거나 감소시키는 반면, 다른 기준 방법들은 거의 변화가 없어 목표의 구조에 적응 가능함을 시사합니다.
• ρ=9일 때 PCP의 평균 집합 크기는 205.63이며, HD-PCP는 171.61이며, CDSplit-MixD는 415.86, CHR-NNet은 689.22이므로, 날카로움 측면에서 뛰어난 성능을 보입니다.
• 실증 결과에 따르면, PCP와 HD-PCP는 다중모달성, 다중목표, 고차원 회귀 작업을 포함한 다양한 유형의 데이터에 대해 뛰어난 안정성을 보입니다.