[논문 리뷰] Non-Parametric Calibration of Probabilistic Regression

Hao Song, Meelis Kull외 1명|arXiv (Cornell University)|2018. 06. 20.

Neural Networks and Applications참고 문헌 2인용 수 3

한 줄 요약

이 논문은 예측 밀도 추정을 향상시키기 위해 비모수적 校정 방법을 확률적 회귀에 도입한다. 이는 회귀 모델에서 유도된 누적분포함수(CDF)를 校정함으로써 이루어지며, 두 가지 경험적 접근법(e-logistic 및 e-beta)과 가우시안 프로세스 분류기 기반 방법(GPC)을 제안한다. 이 방법들은 매끄러운 校정 함수를 학습하여 예측 우도(predictive likelihood)에서 모델 성능을 크게 향상시키며, 목표 분포의 형태에 대한 가정을 하지 않는다.

ABSTRACT

The task of calibration is to retrospectively adjust the outputs from a machine learning model to provide better probability estimates on the target variable. While calibration has been investigated thoroughly in classification, it has not yet been well-established for regression tasks. This paper considers the problem of calibrating a probabilistic regression model to improve the estimated probability densities over the real-valued targets. We propose to calibrate a regression model through the cumulative probability density, which can be derived from calibrating a multi-class classifier. We provide three non-parametric approaches to solve the problem, two of which provide empirical estimates and the third providing smooth density estimates. The proposed approaches are experimentally evaluated to show their ability to improve the performance of regression models on the predictive likelihood.

연구 동기 및 목표

• 확률적 회귀를 위한 校정을 정의하고 체계화하여 분류 문제에서의 개념을 연속형 목표 변수로 확장한다.
• 회귀 모델이 잘못된 분포 가정(예: 정규 잔차)을 할 경우 밀도 추정을 향상시키는 데 도전한다.
• 목표 변수의 진정한 분포 가족에 대한 사전 지식이 필요 없는 비모수적 校정 기법을 개발한다.
• 예측된 CDF의 사후 校정이 더 잘 校정된 및 더 정확한 밀도 추정을 이끌어내는지 평가한다.
• 다양한 회귀 데이터셋과 설정에서 경험적 校정(e-logistic, e-beta)과 매끄러운 비모수적 GPC 기반 방법의 성능을 비교한다.

제안 방법

• 예측 밀도의 누적분포함수(CDF)에 대해 校정을 수행하며, 校정된 CDF와 校정된 밀도 함수 간의 관계를 활용한다.
• 이중 경험적 校정 방법(e-logistic 및 e-beta)을 제안하며, 분류 문제에서의 로지스틱 및 베타 校정을 일대다 CDF 예측 방식으로 회귀 문제에 적용한다.
• GPC 기반 방법은 가우시안 프로세스 분류기를 사용해 예측된 CDF 값에 대해 매끄럽고 비모수적인 校정 함수를 학습하며, 연속적이고 영리한 보정을 가능하게 한다.
• 연속적인 CDF를 이산화하기 위해 8~64개의 이산적 목표 값 집합을 사용하며, 예측값을 이 값들에 매핑하여 학습에 활용한다.
• GPC의 경우, 계산 효율성을 확보하기 위해 기초 모델의 최대 5,000개의 CDF 값만을 학습에 사용하지만, 이는 큰 목표 집합에서는 성능 저하를 초래할 수 있다.
• 밀도 함수에 대한 모수적 가정을 회피함으로써, 복잡하거나 알려지지 않은, 또는 비정규 분포를 가진 목표 분포에 적합하다.

실험 결과

연구 질문

• RQ1 분류 문제에서의 校정 개념을 연속형 목표 변수를 가진 확률적 회귀로 의미적으로 확장할 수 있는가?
• RQ2 누적분포함수(CDF)를 校정하는 것이 더 잘 校정된 및 더 정확한 조건부 밀도 추정을 이끌어내는가?
• RQ3 경험적 校정 방법(e-logistic, e-beta)과 매끄럽고 비모수적인 GPC 기반 방법 간의 예측 우도 향상 성능는 어떻게 비교되는가?
• RQ4 이산화된 목표 값의 수가 校정 성능에 어떤 영향을 미치는가?
• RQ5 표준 회귀 모델(O coeficient, OLS 등)에서 분포 가정이 맞지 않는 경우(예: 정규 잔차)에 校정이 이를 수정할 수 있는가?

주요 결과

• 제안된 校정 방법은 비교적 비교 모델보다 항상 예측 우도를 향상시키며, 특히 GPC 기반 방법이 대부분의 데이터셋과 설정에서 최고의 성능을 기록한다.
• e-beta 방법은 대부분의 경우 e-logistic을 능가하며, 이는 비시그모이드 형태의 校정 함수를 모델링할 수 있어 더 복잡한 밀도 형태를 더 잘 포착하기 때문이다.
• 경험적 방법(e-logistic, e-beta)의 성능은 목표 값 수가 많아질수록 떨어지며, 이는 경험적 추정에서 분산 증가와 과적합 때문일 가능성이 높다.
• GPC 방법은 목표 값 수가 많을수록 뛰어난 성능을 보이지만, 64개의 값에서 성능 저하가 발생함에 따라, 5,000개의 CDF 샘플만을 사용함으로써 속도와 정확도 사이의 상충 관계가 드러난다.
• 이산화된 목표 값 수가 매우 적은 경우(예: 8개), 校정 방법은 비교 모델보다 성능이 열 劣하며, 이는 CDF 정보가 부족해 효과적인 학습이 어려워지기 때문이다.
• 결과는 비모수적 CDF 校정이 재학습 또는 재모델링과 같은 대안보다 실용적이고 효과적인 방법임을 확인한다. 특히 진정한 분포가 알려지지 않았거나 잘못된 가정을 한 경우에 유용하다.