[논문 리뷰] Bayesian Additive Regression Trees With Parametric Models of Heteroskedasticity

Justin Bleich, Adam Kapelner|arXiv (Cornell University)|2014. 02. 21.

Bayesian Methods and Mixture Models참고 문헌 11인용 수 9

한 줄 요약

이 논문은 오차 분산의 이종분산성(heteroskedasticity)을 다룰 수 있도록 BART를 확장한 HBART를 제안한다. 이 방법은 사전에 지정된 공변량의 함수로 오차 분산의 로그를 모델링함으로써 이종분산성을 처리한다. 메트로폴리스-해스팅스 업데이트를 사용하는 게비스 샘플링을 통해 분산 매개변수를 갱신하며, 이로 인해 이종분산성 설정에서 보다 정확한 사후 예측 구간을 제공하고 과적합을 감소시킨다. 이는 동분산성 BART보다 성능이 뛰어나다.

ABSTRACT

We incorporate heteroskedasticity into Bayesian Additive Regression Trees (BART) by modeling the log of the error variance parameter as a linear function of prespecified covariates. Under this scheme, the Gibbs sampling procedure for the original sum-of- trees model is easily modified, and the parameters for the variance model are updated via a Metropolis-Hastings step. We demonstrate the promise of our approach by providing more appropriate posterior predictive intervals than homoskedastic BART in heteroskedastic settings and demonstrating the model's resistance to overfitting. Our implementation will be offered in an upcoming release of the R package bartMachine.

연구 동기 및 목표

• 회귀 모델링에서 BART의 동분산성 오차 가정에 기인한 한계를 해결하기 위해.
• 공변량의 매개변수적 함수를 통해 이종분산성을 모델링할 수 있는 유연한 베이지안 프레임워크를 개발하기 위해.
• 고분산 영역에서의 사후 예측 구간을 향상시키고 과적합을 줄이기 위해.
• 동분산성 데이터에서의 강력한 예측 성능를 유지하면서도 이종분산 상황으로 확장하기 위해.
• 분산 모델의 초모수에 대해 교차검증을 가능하게 하여 모델 선택을 지원하기 위해.

제안 방법

• 사전에 지정된 공변량의 선형 함수로 오차 분산의 로그를 모델링하여, 이종분산성의 매개변수적 모델링을 가능하게 한다.
• 원래의 BART 게비스 샘플러를 수정하여, 메트로폴리스-해스팅스 단계를 통해 분산 매개변수를 갱신한다.
• 의미와 분산 매개변수를 별도 단계에서 갱신하는 블록 게비스 샘플링 기법을 사용한다.
• Gamerman(1997)의 반복적으로 재가중된 최소제곱법을 활용하여 분산 매개변수에 대한 효율적인 제안 분포를 생성한다.
• 시간과 시간²과 같은 공변량을 사용하여 분산 설계 행렬 Z를 설정함으로써 비선형 분산 패턴을 포착한다.
• R 패키지 bartMachine에 모델을 구현하였으며, GitHub의 hBART 브랜치에서 코드를 공개하였다.

실험 결과

연구 질문

• RQ1 매개변수적 분산 함수를 사용하여 베이지안 추가 회귀 트리 모델이 이종분산 오차 구조를 효과적으로 포착할 수 있는가?
• RQ2 이종분산성 하에서 HBART는 동분산성 BART에 비해 예측 구간 정확도에서 어떻게 다를까?
• RQ3 표준 BART에 비해 HBART는 고분산 영역에서 과적합을 줄이는가?
• RQ4 확장된 모델은 분산 성질이 동일한 데이터에서 예측 성능이 저하되지 않게 유지되는가?
• RQ5 교차검증을 통한 초모수 조정이 HBART의 분산 구조 선택 성능을 얼마나 향상시킬 수 있는가?

주요 결과

• HBART는 이종분산성 설정에서 동분산성 BART보다 더 적절한 사후 예측 구간을 생성하며, 특히 예측자 공간 전반에서 변화하는 불확실성을 잘 포착한다.
• 모터사이클 사고 데이터에서, HBART의 예측 구간은 고시간대에는 좁고 중간 구간에서는 넓어지며, 진짜 분산 패턴과 매우 유사하게 나타난다.
• BART의 전역 분산 가정은 저시간대와 고시간대에는 너무 넓은 구간을, 중간에는 너무 좁은 구간을 생성하지만, HBART는 이 잘못된 가정을 수정한다.
• HBART는 BART가 고정된 분산 가정으로 과적합이 발생하기 쉬운 고분산 영역에서 과적합에 저항하는 경향을 보인다.
• 동분산성 데이터에서는 HBART의 사후 평균 추정치, 예측 구간, 그리고 검증용 RMSE가 BART와 거의 동일하여 성능 저하가 없음을 보여준다.
• 재현 코드는 공개되어 있으며, hbart_paper 폴더 내의 제공된 R 스크립트를 사용하여 결과, 표 및 그림을 재현할 수 있다.