[논문 리뷰] Improving Conditional Coverage via Orthogonal Quantile Regression

Shai Feldman, Stephen Bates외 1명|arXiv (Cornell University)|2021. 06. 01.

Machine Learning and Data Classification참고 문헌 46인용 수 6

한 줄 요약

이 논문은 예측 구간의 조건부 커버리지 향상을 위해 정규화된 분위수 회귀를 제안한다. 이는 간격 길이와 오차 발생 사건 간의 통계적 인덴펜던스를 강제함으로써 모든 특성 하위집단에서 신뢰할 수 있는 불확실성 추정을 보장한다. 이 방법은 기존 및 최신 분위수 회귀 모델을 향상시키며, 실제 데이터셋에서 조건부 커버리지가 유의미하게 향상된다. 또한 커버리지 유효성을 평가하기 위한 새로운 지표를 도입한다.

ABSTRACT

We develop a method to generate prediction intervals that have a user-specified coverage level across all regions of feature-space, a property called conditional coverage. A typical approach to this task is to estimate the conditional quantiles with quantile regression -- it is well-known that this leads to correct coverage in the large-sample limit, although it may not be accurate in finite samples. We find in experiments that traditional quantile regression can have poor conditional coverage. To remedy this, we modify the loss function to promote independence between the size of the intervals and the indicator of a miscoverage event. For the true conditional quantiles, these two quantities are independent (orthogonal), so the modified loss function continues to be valid. Moreover, we empirically show that the modified loss function leads to improved conditional coverage, as evaluated by several metrics. We also introduce two new metrics that check conditional coverage by looking at the strength of the dependence between the interval size and the indicator of miscoverage.

연구 동기 및 목표

• 표준 분위수 회귀에서의 열악한 조건부 커버리지 문제를 해결하기 위해, 특히 유한 표본과 신경망과 같은 복잡한 모델에서의 문제를 다루기 위해.
• 모든 특성 공간 영역에서 사용자가 지정한 커버리지 수준을 유지할 수 있도록 학습 방법을 개발하기 위해.
• 간격 길이와 오차 발생 간의 종속성 강도를 평가할 수 있는 해석 가능한 새로운 지표를 도입하기 위해.
• 유한 표본 성능 향상이 간격 길이와 커버리지 간의 수직성 강제 조건을 통해 달성됨을 경험적으로 검증하기 위해.
• 다양한 실제 데이터셋과 모델 아키텍처에서 이 방법의 효과성을 입증하기 위해.

제안 방법

• 간격 길이와 오차 발생 지표 간의 통계적 인덴펜던스를 촉진하는 정규화 항을 추가하여 분위수 회귀 손실 함수를 수정한다.
• 이중으로 강건한 추정 프레임워크를 사용하여, 모델 오류가 있을 경우에도 점차적으로 수직 조건이 유지되도록 보장한다.
• 진정한 조건부 분위수에서는 간격 길이와 오차 발생이 상관관계가 없기 때문에, 이는 타당하고 안정적인 최적화 목표가 된다.
• 간격 길이와 오차 발생 사건 간의 종속성을 측정하기 위해 피어슨 상관계수와 HSIC를 사용하는 두 가지 새로운 지표를 도입한다.
• 기존의 분위수 회귀 모델과 딥러닝 기반 분위수 회귀 모델 모두에 이 방법을 적용하며, 마진 커버리지 校정을 위한 컨포멀라이즈드 분위수 회귀도 포함한다.
• 큰 배치 학습을 사용하여 간격 길이와 커버리지 간의 종속성을 신뢰성 있게 추정하고, 효과적인 정규화를 수행한다.

실험 결과

연구 질문

• RQ1 간격 길이와 오차 발생 간의 통계적 인덴펜던스를 강제하면 분위수 회귀에서의 유한 표본 조건부 커버리지가 향상되는가?
• RQ2 제안된 정규화된 분위수 회귀 방법은 다양한 하위집단에서 표준 분위수 회귀 대비 커버리지 유지 능력에서 어떻게 비교되는가?
• RQ3 새로운 지표들(예: 상관계수, HSIC)은 기존 평가 방법이 놓친 조건부 커버리지 실패를 어느 정도 탐지하는가?
• RQ4 마진 커버리지를 보장하기 위해 컨포멀 인퍼런스와 결합했을 때 이 방법은 여전히 효과적인가?
• RQ5 이 방법은 간격 길이 외에도 특성의 다른 함수와의 독립성을 강제하는 데 일반화될 수 있는가?

주요 결과

• 제안된 정규화된 분위수 회귀 방법은 아홉 개인 실제 데이터셋에서 조건부 커버리지를 유의미하게 향상시켰으며, 상관계수와 HSIC와 같은 종속성 기반 지표에서 평균 40%에서 88%까지 향상되었다.
• meps_21 데이터셋에서, 이 방법은 기준 CQR 대비 Δ Node-Coverage 지표에서 오차 발생-간격 길이 종속성을 37.33% 감소시켰다.
• 컨포멀라이제이션 이후, 이 방법은 정확한 마진 커버리지(90%)를 달성했으며, 동시에 뛰어난 조건부 커버리지를 유지했다. facebook_1에서 상관계수 지표는 67.79% 향상되었다.
• 이 방법은 아홉 개의 벤치마크 데이터셋 전반에서 표준 분위수 회귀를 모두 능가했으며, 상관계수, HSIC, Δ WSC의 세 가지 주요 조건부 커버리지 지표에서 일관된 개선이 이루어졌다.
• 이러한 개선은 특히 고분산 및 불균형 데이터셋인 meps_19와 meps_20에서 가장 두드러졌으며, 이들에서 커버리지 신뢰도가 유의미하게 향상되었다.
• 이 방법은 피드포워드 네트워크와 딥 네트워크를 포함한 다양한 모델 아키텍처에서 뛰어난 강건성을 보였으며, 일반형 및 컨포멀라이즈드 분위수 회귀 모두에서 효과를 보였다.