[논문 리뷰] Flexible distribution-free conditional predictive bands using density estimators

Rafael Izbicki, Gilson T. Shimizu외 1명|arXiv (Cornell University)|2019. 10. 12.

Statistical Methods and Inference참고 문헌 17인용 수 24

한 줄 요약

이 논문은 특성과 반응 간의 관계에 대해 강력한 가정이 필요 없이 渐近적 조건부 커버리지(conditional coverage)를 달성하는 두 가지 확률적 예측 방법인 Dist-split과 CD-split을 제안한다. 조건부 밀도 추정과 데이터 기반 특성 공간 분할을 활용함으로써 CD-split은 더 작고 최적의 예측 영역을 생성하면서도 강력한 조건부 커버리지를 유지하며, 이질적 분산과 다중모달 노이즈가 존재하는 다양한 설정에서 기존 방법들을 능가하는 시뮬레이션 성능을 보인다.

ABSTRACT

Conformal methods create prediction bands that control average coverage under no assumptions besides i.i.d. data. Besides average coverage, one might also desire to control conditional coverage, that is, coverage for every new testing point. However, without strong assumptions, conditional coverage is unachievable. Given this limitation, the literature has focused on methods with asymptotical conditional coverage. In order to obtain this property, these methods require strong conditions on the dependence between the target variable and the features. We introduce two conformal methods based on conditional density estimators that do not depend on this type of assumption to obtain asymptotic conditional coverage: Dist-split and CD-split. While Dist-split asymptotically obtains optimal intervals, which are easier to interpret than general regions, CD-split obtains optimal size regions, which are smaller than intervals. CD-split also obtains local coverage by creating a data-driven partition of the feature space that scales to high-dimensional settings and by generating prediction bands locally on the partition elements. In a wide variety of simulated scenarios, our methods have a better control of conditional coverage and have smaller length than previously proposed methods.

연구 동기 및 목표

• 특성과 반응 간의 종속성에 대해 제한적인 가정 없이 渐近적 조건부 커버리지를 달성하는 확률적 예측 방법을 개발하는 것.
• 기존 국소 커버리지 방법이 데이터 희소성으로 인해 실패하는 고차원 설정에서 효과적인 예측 밴드를 제공하는 것.
• 기존 방법보다 더 작고 더 정확한 조건부 커버리지를 갖춘 예측 영역을 생성하는 것.
• 국소 유효성과 고차원에 대한 확장성을 지원하는 데이터 기반 특성 공간 분할 전략을 도입하는 것.
• 회귀 및 분류 과제에서 밀도 기반 확률적 방법의 효과성을 입증하는 것.

제안 방법

• Dist-split은 조건부 밀도 추정을 활용하여 예측 밴드를 구간으로 구성하며, 渐近적 조건부 커버리지 하에서 최적의 오라클 구간으로 수렴한다.
• CD-split은 특성 공간을 국소 이웃으로 나누는 데 사용되는 새로운 데이터 기반 거리 측도를 도입함으로써 고차원에서 확장 가능한 국소 확률적 예측을 가능하게 한다.
• 두 방법 모두 분할된 확률적 추론을 사용하여 i.i.d. 가정 하에서 마진 커버리지를 보장하면서, 밀도 추정을 통해 渐近적 조건부 커버리지를 달성한다.
• 예측 밴드는 조건부 밀도 추정치를 통합하여 도출된 추정된 조건부 누적분포함수에서 유도된다.
• 계산의 실현 가능성을 확보하기 위해 빠르고 확장 가능한 조건부 밀도 추정기(예: FlexCode)에 의존한다.
• CD-split의 분할 전략은 데이터 밀도에 따라 동적으로 적응하여 고차원 특성 공간에서의 국소 커버리지를 향상시킨다.

실험 결과

연구 질문

• RQ1 오차 항의 독립성이나 대칭성을 가정하지 않고도, 渐近적 조건부 커버리지를 달성하는 예측 밴드를 구축할 수 있는가?
• RQ2 데이터 희소성이 기존 이웃 방법의 성능을 저하시키는 고차원 특성 공간에서 국소 유효성을 유지할 수 있는가?
• RQ3 구간 기반 방법보다 더 작은 예측 영역을 생성하면서도 강력한 커버리지 보장을 유지할 수 있는가?
• RQ4 조건부 밀도에 기반한 데이터 기반 분할 전략이 실질적으로 국소 및 조건부 커버리지를 향상시키는가?
• RQ5 기존의 확률적 예측 접근법과 비교할 때, 이 방법들은 커버리지 정확도와 예측 밴드 크기 측면에서 어떻게 성능을 내는가?

주요 결과

• CD-split은 모든 시뮬레이션 설정에서 가장 우수한 조건부 커버리지 제어 성능을 보이며, 명목상 90% 수준에 가까운 커버리지를 유지하는 데 있어 기존 방법들을 크게 능가한다.
• 대부분의 설정에서 CD-split은 평균 크기가 가장 작은 예측 밴드를 생성하여 영역 추정의 뛰어난 효율성을 입증한다.
• Dist-split은 조건부 커버리지 제어와 밴드 크기 측면에서 항상 두 번째로 높은 순위를 차지하며, 해석성이 중요한 경우에 구간 형태로의 선호도를 고려할 때 강력한 대안을 제공한다.
• 제안된 방법들은 오차 항의 독립성이나 대칭성 등의 가정 없이도 渐近적 조건부 커버리지를 달성하여 이질적 분산과 다중모달 노이즈에 대해 강건함을 입증한다.
• CD-split은 분류 과제로도 성공적으로 확장되었으며, Probability-split보다 더 우수한 조건부 커버리지를 보였지만, 약간 더 큰 평균 예측 밴드를 가졌다.
• CD-split의 데이터 기반 분할 전략은 기존 방법이 데이터 희소성으로 인해 실패하는 고차원 설정에서도 확장 가능한 국소 커버리지를 가능하게 한다.