[논문 리뷰] CD-split and HPD-split: efficient conformal regions in high dimensions

Rafael Izbicki, Gilson Shimizu외 1명|arXiv (Cornell University)|2020. 07. 24.

Machine Learning and Data Classification참고 문헌 35인용 수 12

한 줄 요약

이 논문은 데이터 기반의 분할과 조건부 밀도 추정을 활용하여 고차원 설정에서 효율적이고 임의의 모양을 가진 예측 영역을 구성하는 CD-split 및 HPD-split라는 두 가지 공차 예측 방법을 소개한다. 이 방법들은 渐近적 조건부 타당성과 최고 예측 밀도 집합으로의 수렴을 달성하여, 특히 광학적 적색편이와 같이 다중모달인 목표 분포에 대해 구간 기반 대안보다 더 작고 정확한 예측 영역을 제공한다.

ABSTRACT

Conformal methods create prediction bands that control average coverage assuming solely i.i.d. data. Although the literature has mostly focused on prediction intervals, more general regions can often better represent uncertainty. For instance, a bimodal target is better represented by the union of two intervals. Such prediction regions are obtained by CD-split , which combines the split method and a data-driven partition of the feature space which scales to high dimensions. CD-split however contains many tuning parameters, and their role is not clear. In this paper, we provide new insights on CD-split by exploring its theoretical properties. In particular, we show that CD-split converges asymptotically to the oracle highest predictive density set and satisfies local and asymptotic conditional validity. We also present simulations that show how to tune CD-split. Finally, we introduce HPD-split, a variation of CD-split that requires less tuning, and show that it shares the same theoretical guarantees as CD-split. In a wide variety of our simulations, CD-split and HPD-split have better conditional coverage and yield smaller prediction regions than other methods.

연구 동기 및 목표

• 기존의 구간 기반 접근 방식보다 더 작고 정보량이 많은 예측 영역을 제공하는 공차 예측 방법을 개발함으로써, 특히 다중모달 목표 분포에 대해 유의미한 성능 향상을 이끌어내는 것.
• 고차원 특징 공간에서 기존 국소적 및 조건부 타당성 방법의 확장성과 성능 한계를 해결하는 것.
• 최소한의 가정 하에 이론적 보장을 제공하는 것—특히, 渐近적 조건부 타당성과 최고 예측 밀도 집합으로의 수렴—을 확보하는 것.
• HPD-split를 통해 조정 파rameter의 수를 줄임으로써 튜닝 복잡성을 감소시키되, 이론적 성질은 유지하는 것.
• 특히 목표 분포가 흔히 다중모달인 광학적 적색편이 예측과 같은 응용 분야에서, 시뮬레이션 및 실제 데이터 환경 모두에서의 경험적 우월성을 입증하는 것.

제안 방법

• CD-split는 특징 공간의 데이터 기반 분할을 사용하는 분할 공차 프레임워크와 결합하여 국소적 조건부 밀도 구조에 맞춘 예측 영역을 생성한다.
• 조건부 밀도 추정기를 사용하여 높은 예측 밀도 영역을 식별함으로써, 이산 구간의 조합과 같은 비구간 예측 집합을 가능하게 한다.
• HPD-split는 이웃 영역을 정의하는 데 더 안정적인 데이터 기반 거리 척도를 사용하는 CD-split의 단순화된 버전으로, 튜닝 파rameter의 수를 줄인다.
• 이 방법은 점점 더 정확한 조건부 밀도 추정기를 기반으로 하여 渐近적 조건부 타당성과 오라클 최고 예측 밀도 집합으로의 수렴을 보장한다.
• 고차원 공간에서 국소적 이웃 영역을 정의하기 위해 새로운 데이터 기반 거리 척도를 도입하여 안정성과 성능을 향상시켰다.
• 이론적 분석을 통해 교환 가능성과 밀도 추정기의 일致성 하에, 마진 타당성, 국소 타당성, 渐近적 조건부 타당성을 확립하였다.

실험 결과

연구 질문

• RQ1 공차 예측 방법은 고차원 특징 공간에서 다중모달 조건부 분포에 적응하는 효율적이고 비구간 예측 영역을 구성할 수 있는가?
• RQ2 CD-split는 최소한의 가정 하에 渐近적 조건부 타당성와 최고 예측 밀도 집합으로의 수렴을 달성하는가?
• RQ3 HPD-split는 CD-split의 이론적 보장을 유지하면서도 튜닝 파rameter의 수를 줄이고 안정성을 향상시킬 수 있는가?
• RQ4 다양한 시뮬레이션 설정과 실제 데이터에서 CD-split와 HPD-split는 조건부 커버리지와 예측 영역 크기 측면에서 어떻게 비교되는가?
• RQ5 이러한 방법들은 광학적 적색편이 추정과 같이 목표 분포가 본질적으로 다중모달인 응용 분야에서 기존의 구간 기반 공차 방법을 능가할 수 있는가?

주요 결과

• CD-split과 HPD-split는 특징과 목표 간의 종속성에 대한 강력한 가정 없이도 교환 가능성과 조건부 밀도 추정기의 일치성 하에 渐近적 조건부 타당성을 달성한다.
• CD-split는 미묘한 정규성 조건 하에 최고 예측 밀도 집합—$1-\alpha$ 커버리지로 가능한 가장 작은 영역—으로 수렴한다.
• 시뮬레이션 결과에서, CD-split와 HPD-split는 Dist-split, Quantile-split, Reg-split와 같은 구간 기반 방법보다 더 작은 예측 영역과 더 나은 조건부 커버리지를 제공한다.
• 광학적 적색편이 예측에서는, HPD-split와 CD-split +가 다른 방법들보다 더 작은 밴드를 제공하며, 특히 이중모달 분포를 보이는 희미한 성간에서 뚜렷한 성능 향상을 보였다.
• 경험적 결과는 CD-split +, 즉 CD-split의 안정화된 변형으로, 고차원 공간에서 이웃 영역을 정의하는 데 새로운 데이터 기반 거리 척도를 사용함으로써 성능 향상을 이룬다.
• 이 방법들은 공차 회귀와 분류 모두에서 효과적이며, HPD-split는 튜닝 복잡성이 감소한 CD-split의 실용적인 대안을 제공한다.