[논문 리뷰] qgam: Bayesian non-parametric quantile regression modelling in R

Matteo Fasiolo, Simon N. Wood외 3명|arXiv (Cornell University)|2020. 07. 07.

Statistical Methods and Inference참고 문헌 23인용 수 6

한 줄 요약

이 논문은 일반화된 가산 모형(GAMs)을 사용하여 빠르고 校정된 베이지안 분위수 회귀를 위한 qgam R 패키지를 소개한다. 이는 응답 변수의 분포를 파라메트릭으로 가정하지 않고도 조건부 분위수를 비모수적으로 추정할 수 있도록 한다. 펄스백 손실를 스무딩하고 정보 커널 학습(IKL)을 활용한 校정된 베이지안 추론을 통해 조정함으로써, qgam는 정확한 분위수 추정과 잘 校정된 신뢰구간을 제공하며, 커버리지와 계산 효율성 측면에서 MCMC 및 부스팅 방법을 능가한다.

ABSTRACT

Generalized additive models (GAMs) are flexible non-linear regression models, which can be fitted efficiently using the approximate Bayesian methods provided by the mgcv R package. While the GAM methods provided by mgcv are based on the assumption that the response distribution is modelled parametrically, here we discuss more flexible methods that do not entail any parametric assumption. In particular, this article introduces the qgam package, which is an extension of mgcv providing fast calibrated Bayesian methods for fitting quantile GAMs (QGAMs) in R. QGAMs are based on a smooth version of the pinball loss of Koenker (2005), rather than on a likelihood function, hence jointly achieving satisfactory accuracy of the quantile point estimates and coverage of the corresponding credible intervals requires adopting the specialized Bayesian fitting framework of Fasiolo, Wood, Zaffran, Nedellec, and Goude (2020b). Here we detail how this framework is implemented in qgam and we provide examples illustrating how the package should be used in practice.

연구 동기 및 목표

• 응답 변수의 분포를 파라메트릭으로 가정하지 않고도 R에서 분위수 가산 모형(QGAMs)을 스케일러블하고 빠르게 피팅할 수 있는 방법을 개발하는 것.
• 특히 꼬리 분위수에서 신뢰구간의 적절한 빈도주의 커버리지 확보라는 과제를 해결하는 것.
• 매끄러운 손실 함수와 효율적 최적화를 활용하여 QGAMs에 대한 빠르고 校정된 베이지안 추론을 지원하는 새로운 프레임워크를 mgcv 패키지에 통합하는 것.
• 연구자들이 마진형 우도와 경험 베이지안 방법을 활용하여 QGAMs를 피팅하고, 시각화하며, 검증할 수 있도록 실용적인 R 도구를 제공하는 것.

제안 방법

• 표준 우도 기반 접근 방식을 대체하기 위해 최적화를 효율적으로 수행할 수 있도록 펄스백 손실 함수의 스무딩된 형태를 사용한다.
• 정보 커널 학습(IKL) 프레임워크를 통한 校정된 베이지안 추론을 적용하여 최적의 학습률을 선택함으로써, 신뢰구간의 거의 명목 커버리지가 확보된다.
• 회귀 계수는 스무딩된 손실에 대한 최대 사후확률(MAP) 최적화를 통해 추정되며, 하이퍼파ram터는 마진형 우도를 활용한 경험 베이지안 방법을 통해 선택된다.
• 부드러운 항을 구성하기 위해 기존의 mgcv 도구를 활용하며, 순환형, 적응형, 텐서곱 스플라인을 포함하여 모델 사양을 민첩하게 정의할 수 있다.
• 기존의 베이지안 또는 부스팅 대안 대비 직접 최적화를 사용함으로써 MCMC를 회피함으로써 계산 속도가 크게 향상된다.
• 모델 피팅은 mgcv와 통합되며, 모델 점검, 예측, 진단 도구를 지원하는 새로운 R 패키지 qgam를 통해 구현된다.

실험 결과

연구 질문

• RQ1 응답 변수의 분포에 대한 파라메트릭 가정 없이도 분위수 가산 모형에 대해 빠르고 校정된 베이지안 프레임워크를 개발할 수 있는가?
• RQ2 베이지안 분위수 회귀에서 신뢰구간이 특히 극단적 분위수에서 적절한 빈도주의 커버리지를 달성할 수 있는가?
• RQ3 정확성과 校정성 유지 조건 하에 베이지안 분위수 회귀의 계산 부담을 줄일 수 있는가?
• RQ4 qgam의 성능은 MCMC, 부스팅, 또는 quantreg와 같은 기존 방법들과 비교해 볼 때 추정 정확도와 구간 커버리지 측면에서 어떻게 다른가?

주요 결과

• qgam 패키지는 모든 분위수, 특히 극단적 분위수에서도 거의 명목 커버리지가 이루어지는 빠르고 校정된 베이지안 프레임워크를 성공적으로 구현하였다.
• 특히 꼬리 분위수에서 MCMC 기반 접근 방식이 자주 커버리지가 부족한 것과는 달리, qgam는 계산 속도와 구간 커버리지 측면에서 MCMC를 능가한다.
• 실제 전력 수요 예측 사례에서, 기능적 QGAM 모형(mqgam를 통해 피팅)은 극단적 분위수(0.1 및 0.9)에서 표준 QGAM보다 더 낮은 펄스백 손실을 기록하였다.
• 온도 효과의 유효 자유도(edf)는 가능한 최대값(k’)에 매우 가까웠으며, 이는 중앙분위수의 모형 적합도 향상을 위해 k를 20으로 증가시키는 것이 유의미할 수 있음을 시사한다.
• 학습률 선택을 위한 IKL 기반의 校정된 베이지안 프레임워크는 신뢰구간이 적절한 커버리지를 유지하도록 보장하며, 표준 가짜 우도 접근 방식에서 관찰되는 과소 커버리지 문제를 피한다.
• mgcv와의 통합을 통해 순환형, 적응형, 텐서곱 형태의 다양한 부드러운 항을 지원함으로써, 복잡한 비선형 관계를 민첩하게 모델링할 수 있다.