[논문 리뷰] Multivariate Probabilistic Regression with Natural Gradient Boosting

Michael O’Malley, Adam M. Sykulski외 2명|arXiv (Cornell University)|2021. 06. 07.

Gaussian Processes and Bayesian Inference참고 문헌 22인용 수 5

한 줄 요약

이 논문은 2차원 속도 벡터와 같은 다변량 출력에서 연관된 불확실성을 모델링하기 위해 자연 경사 부스팅(Natural Gradient Boosting, NGBoost)을 사용하는 다변량 확률적 회귀 프레임워크를 소개한다. 자연 경사 부스팅을 통해 다변량 정규분포의 매개변수를 설정함으로써 출력 차원 간의 상관관계를 포착할 수 있으며, 시뮬레이션 및 실제 해류 예측 작업에서 독립적 모델링과 딥 뉴럴 네트워크를 능가하는 성능을 보인다.

ABSTRACT

Many single-target regression problems require estimates of uncertainty along with the point predictions. Probabilistic regression algorithms are well-suited for these tasks. However, the options are much more limited when the prediction target is multivariate and a joint measure of uncertainty is required. For example, in predicting a 2D velocity vector a joint uncertainty would quantify the probability of any vector in the plane, which would be more expressive than two separate uncertainties on the x- and y- components. To enable joint probabilistic regression, we propose a Natural Gradient Boosting (NGBoost) approach based on nonparametrically modeling the conditional parameters of the multivariate predictive distribution. Our method is robust, works out-of-the-box without extensive tuning, is modular with respect to the assumed target distribution, and performs competitively in comparison to existing approaches. We demonstrate these claims in simulation and with a case study predicting two-dimensional oceanographic velocity data. An implementation of our method is available at https://github.com/stanfordmlgroup/ngboost.

연구 동기 및 목표

• 상관관계가 있는 출력 차원 간의 공동 불확실성을 포착할 수 있는 강력하고 즉시 사용 가능한 다변량 확률적 회귀 방법의 부족을 해결하기 위해.
• NGBoost 프레임워크를 다변량 예측 분포의 공동 모델링을 지원하도록 확장하여, 특히 다변량 정규분포 목표에 대해 적용 가능하게 하기 위해.
• 출력 차원 간의 상관관계를 모델링할 경우, 독립적 또는 대각행렬 공분산 가정에 비해 예측 정확도와 불확실성 정량화가 향상되는지 확인하기 위해.
• 연구자들이 환경 및 과학 데이터에 대해 다변량 확률적 회귀를 쉽게 적용할 수 있도록 모듈러하고 튜닝이 필요 없는 구현을 제공하기 위해.

제안 방법

• 입력 특징에 대한 비모수적 함수로 다변량 정규분포의 조건부 평균 벡터와 전체 공분산 행렬을 모델링한다.
• 예측 분포의 매개변수를 최적화하기 위해 자연 경사 하강법을 사용하며, 효율적이고 안정적인 갱신을 위해 피셔 정보 계량을 활용한다.
• 약한 학습기(예: 결정 트리)를 사용하여 평균 및 공분산 매개변수의 예측을 반복적으로 개선하며, 훈련 데이터의 음의 로그우도를 최소화한다.
• 이 방법은 모듈러하다: 기울기와 리만 계량이 정의되어 있으면 어떤 다변량 분포라도 사용할 수 있어 다른 분포로의 확장이 가능하다.
• 딥 러닝 기반의 분포 회귀와는 달리 출력 차원 수가 기하급수적으로 증가하는 문제를 겪지 않아 고차원 출력 공간에서도 더 효율적으로 작동한다.
• 구현은 NGBoost 파이썬 패키지에 통합되어 있어 사용자가 최소한의 튜닝으로 다변량 확률적 회귀를 수행할 수 있다.

실험 결과

연구 질문

• RQ1 자연 경사 부스팅은 공동 불확실성 모델링을 위한 다변량 확률적 회귀로 효과적으로 확장될 수 있는가?
• RQ2 상관관계가 있는 출력 차원을 공동으로 모델링할 경우, 독립적 또는 대각행렬 공분산 가정에 비해 예측 성능가 향상되는가?
• RQ3 제안된 다변량 NGBoost 방법은 불확실성 캘리브레이션과 예측 정확도 측면에서 최신 딥 러닝 기준보다 뛰어나게 성능을 발휘하는가?
• RQ4 전체 공분산 행렬을 모델링할 경우, 예측 영역 면적은 얼마나 줄어들며, 커버리지 유지 또는 향상와 함께 어떻게 영향을 미치는가?

주요 결과

• 다변량 NGBoost(NGB) 모델은 테스트 세트 음의 로그우도(NLL)가 7.73±0.02를 기록하여 독립적 NGBoost(Indep NGB)의 7.74±0.02와 딥 뉴럴 네트워크(DDN)의 7.81±0.02를 모두 뛰어넘었다.
• NGB는 NN의 16.63±0.19 cm·s⁻¹보다 낮은 루트 평균 제곱 오차(RMSE) 14.53±0.14 cm·s⁻¹를 기록하여 더 높은 점 추정 정확도를 보였다.
• NGB의 90% 예측 영역(PR) 면적은 2482±51 cm²·s⁻²로, NN의 3670±75 cm²·s⁻²보다 유의미하게 작았으며, 더 날카우며 정밀한 불확실성 추정을 의미한다.
• NGB와 Indep NGB 간의 NLL 공간적 차이를 분석한 결과, 특히 북대서양 지역에서 높은 상관관계가 있는 영역에서 NGB가 더 나은 불확실성 캘리브레이션을 제공하는 것으로 나타났다.
• 모델은 평균 해류 예측에서 구르프 스트림과 북대서양 해류와 같은 주요 해양학적 특징을 성공적으로 포착하여 실제 적용 가능성은 입증되었다.
• 결과적으로, 고상관 영역에서는 NGB를, 나머지 영역에서는 Indep NGB를 사용하는 모델 스태킹 기법이 성능 향상에 기여할 수 있으나, 이는 향후 추가 탐구가 필요하다.