[논문 리뷰] Beyond Pinball Loss: Quantile Methods for Calibrated Uncertainty Quantification

Youngseog Chung, Willie Neiswanger외 2명|arXiv (Cornell University)|2020. 11. 18.

Fault Detection and Control Systems인용 수 23

한 줄 요약

이 논문은 핀볼 손실의 한계를 극복하기 위해 모델에 종속되지 않는 분위수 방법을 제안한다. 이는 校정성과 날카기성 사이의 명시적 트레이드오프를 가능하게 하고, 중심 예측 구간을 최적화하며, 개인적 校정성을 향상시킨다. 이 방법은 조정 가능한 손실 함수와 학습 절차를 사용하며, 벤치마크 및 실제 핵 fusion 데이터셋에서 뛰어난 불확실성 정량화 성능을 보여준다.

ABSTRACT

Among the many ways of quantifying uncertainty in a regression setting, specifying the full quantile function is attractive, as quantiles are amenable to interpretation and evaluation. A model that predicts the true conditional quantiles for each input, at all quantile levels, presents a correct and efficient representation of the underlying uncertainty. To achieve this, many current quantile-based methods focus on optimizing the so-called pinball loss. However, this loss restricts the scope of applicable regression models, limits the ability to target many desirable properties (e.g. calibration, sharpness, centered intervals), and may produce poor conditional quantiles. In this work, we develop new quantile methods that address these shortcomings. In particular, we propose methods that can apply to any class of regression model, allow for selecting a trade-off between calibration and sharpness, optimize for calibration of centered intervals, and produce more accurate conditional quantiles. We provide a thorough experimental evaluation of our methods, which includes a high dimensional uncertainty quantification task in nuclear fusion.

연구 동기 및 목표

• 분위수 회귀에서 핀볼 손실의 한계를 해결하기 위해, 모델 선택을 제한하고 校정성과 날카기성의 암묵적 균형을 부여하는 것.
• 조건부 밀도 추정 기반의 모델에 종속되지 않는 학습 방법을 개발하여, 어떤 회귀 모델이라도 불확실성 정량화에 사용할 수 있도록 하기.
• 조정 가능한 손실 함수를 통해 校정성과 날카기성 간의 트레이드오프를 명시적으로 제어할 수 있도록 하기.
• 실제 응용에서 흔한 중심 예측 구간을 최적화하기 위해, 핀볼 손실이 목표로 하지 않는 목적을 달성하기.
• 개선된 신뢰성 있는 분위수 예측을 위한 새로운 학습 절차를 통해 평균 校정성 이상의 개인적 校정성을 향상시키기.

제안 방법

• 조건부 밀도 추정을 이용해 모든 분위수를 동시에 학습하는 모델에 종속되지 않는 알고리즘을 제안하며, 분위수 예측을 모델 아키텍처에서 분리한다.
• 교정성과 날카기성 목표를 분리하는 조정 가능한 손실 함수를 도입하여, 학습 중에 이 두 성질 간의 명시적 균형을 가능하게 한다.
• 특히 중심 예측 구간을 최적화하기 위해 설계된 새로운 손실 함수를 제안하여, 이 일반적인 실용적 응용 사례에서의 성능을 향상시킨다.
• 각 분위수 수준에서 기대되는 커버리지 비율에서의 편차를 최소화함으로써 개인적 校정성을 향상시키는 학습 절차를 설계한다.
• 에피스테믹 불확실성을 포함하기 위해 부트스트랩 앙상블을 활용하여, 낮은 데이터 환경에서의 견고성을 향상시킨다.
• 고차원 회귀 과제, 특히 실제 핵 fusion 불확실성 정량화 과제에 이러한 방법을 적용한다.

실험 결과

연구 질문

• RQ1 분위수 방법을 모델에 종속되지 않게 만들 수 있을까? 즉, 어떤 회귀 모델이라도 불확실성 정량화에 사용할 수 있을까?
• RQ2 핀볼 손실이 암묵적으로 조정하는 대신, 분위수 회귀에서 교정성과 날카기성을 명시적으로 균형 조절할 수 있을까?
• RQ3 중심 구간을 최적화하면 실용적 성능 향상이 이루어질까?
• RQ4 개인적 校정성을 평균 校정성 이상으로 향상시킬 수 있으며, 이는 더 신뢰할 수 있는 분위수 예측으로 이어질까?
• RQ5 복잡한 불확실성 구조를 가진 고차원, 실제 응용 회귀 과제에서 제안된 방법의 성능은 어떠한가?

주요 결과

• 제안된 방법은 기준 핀볼 손실 방법에 비해 더 나은 교정성과 날카기성 트레이드오프를 달성하며, 이 두 지표 간 균형에 대한 명시적 제어가 가능하다.
• 모델에 종속되지 않는 학습 접근법을 통해 다양한 회귀 모델을 불확실성 정량화에 활용할 수 있게 되어, 기존 표준 분위수 회귀 프레임워크를 초월한 적용 가능성을 넓혔다.
• 중심 구간을 최적화함으로써 실용적 환경에서 더 정확하고 신뢰할 수 있는 예측 구간을 제공하며, 이는 핀볼 손실에 비해 이 특정 목표에서 뛰어난 성능을 보였다.
• 개인적 校정성 학습 절차는 특히 악성 그룹 설정에서의 잘못된 교정성을 크게 감소시켜, 분위수 예측의 신뢰성 향상을 입증했다.
• 고차원 핵 fusion 회귀 과제에서 제안된 방법은 기존 기준선보다 더 정확하고 잘 校정된 불확실성 추정치를 생성했다.
• 부트스트랩 앙상블은 에피스테믹 불확실성을 효과적으로 포함시켜 과신을 줄이고 낮은 데이터 환경에서의 에피스테믹 커버리지 성능을 향상시켰다.