[논문 리뷰] Heteroscedastic BART Using Multiplicative Regression Trees

Matthew T. Pratola, Hugh Chipman외 2명|arXiv (Cornell University)|2017. 09. 21.

Optimal Experimental Design Methods참고 문헌 19인용 수 14

한 줄 요약

이 논문은 조건부 이질분산성을 제품-트리 앙상블을 통해 분산에 모델링하는 방식으로 BART를 확장한 베이지안 비모수 회귀 모델인 HBART를 제안한다. 이를 통해 조건부 평균과 분산을 유연하고 비모수적으로 추정할 수 있으며, 효율적인 MCMC 추론을 위한 조건부 켤레를 사용한다. 실제 및 시뮬레이션 데이터에서 예측 분포적 적합도 향상과 더불어 추론적 통찰력을 입증한다.

ABSTRACT

BART (Bayesian Additive Regression Trees) has become increasingly popular as a flexible and scalable nonparametric regression approach for modern applied statistics problems. For the practitioner dealing with large and complex nonlinear response surfaces, its advantages include a matrix-free formulation and the lack of a requirement to prespecify a confining regression basis. Although flexible in fitting the mean, BART has been limited by its reliance on a constant variance error model. This homoscedastic assumption is unrealistic in many applications. Alleviating this limitation, we propose HBART, a nonparametric heteroscedastic elaboration of BART. In BART, the mean function is modeled with a sum of trees, each of which determines an additive contribution to the mean. In HBART, the variance function is further modeled with a product of trees, each of which determines a multiplicative contribution to the variance. Like the mean model, this flexible, multidimensional variance model is entirely nonparametric with no need for the prespecification of a confining basis. Moreover, with this enhancement, HBART can provide insights into the potential relationships of the predictors with both the mean and the variance. Practical implementations of HBART with revealing new diagnostic plots are demonstrated with simulated and real data on used car prices, fishing catch production and alcohol consumption.

연구 동기 및 목표

• 비모수적이고 기저 기반 없이 조건부 평균과 분산을 트리 앙상블을 사용해 모델링하는 방법 개발.
• 예측 변수가 평균과 분산에 미치는 영향을 동시에 추론할 수 있도록 하여, 기존 BART가 포착하지 못하는 관계를 드러내기.
• 분산 모델에서 조건부 켤레를 활용해 계산 효율성이 높은 MCMC 알고리즘을 제공함으로써 조밀한 공분산 행렬의 역행렬 계산을 피함.
• 이질분산성과 전체 예측 분포 적합도 평가를 위한 진단 도구로 H-증거 및 예측 QQ-플롯을 도입함.

제안 방법

• 기존 BART와 마찬가지로 조건부 평균을 트리의 합으로 모델링하며, 각 트리가 평균 함수에 가산적으로 기여함.
• 조건부 분산을 제품-트리 앙상블로 모델링하며, 각 트리가 분산에 곱셈적으로 기여함으로써 비모수적이고 민감한 분산 표면 추정이 가능함.
• 분산의 로그 스케일 매arameterization을 사용하여 제품-트리 구조가 로그 스케일에서 가산적이 되도록 하여 조건부 켤레를 가능하게 함.
• 분산 매개변수에 조건부 켤레 사전분포를 적용하여 MCMC 알고리즘 내에서 효율적인 깁스 샘플링 단계를 구현함.
• 스토캐스틱 서치 변수 선택을 갖춘 적응형 베이지안 회귀 트리를 사용하여 자동 변수 선택과 불확실성 정량화를 가능하게 함.
• 최소한의 조정이 필요한 기본 사전 분포를 통합하며, 교차검증 기반 캘리브레이션을 위한 주요 초모수 κ는 평균 모델에서 유일하게 조정 대상임.

실험 결과

연구 질문

• RQ1 트리 앙상블을 사용해 비모수적 베이지안 모델이 동시에 조건부 평균과 분산을 민감하게 추정할 수 있는가?
• RQ2 분산을 제품-트리 앙상블로 모델링하는 것이 동질분산 BART에 비해 예측 분포 적합도를 향상시키는가?
• RQ3 HBART는 예측 변수 의존적 분산을 어느 정도 탐지하고 모델링할 수 있으며, 실제 데이터셋에서 기존 BART와 비교해 어떻게 성능을 발휘하는가?
• RQ4 제안된 진단 도구인 H-증거 플롯과 예측 QQ-플롯은 이질분산성과 모델 적합도 평가에 얼마나 효과적인가?
• RQ5 특히 복잡한 비선형 관계를 가진 고차원 설정에서 HBART는 최소한의 사용자 조정으로 효율적으로 구현될 수 있는가?

주요 결과

• 알려진 평균 및 분산 함수가 있는 시뮬레이션 예제에서 HBART는 유일하게 기본 사전분포를 사용하여 매우 정확한 추정을 달성하였으며, 유한표본 성능이 뛰어남을 입증함.
• 중고 자동차 가격 데이터셋에서 HBART는 뚜렷한 이질분산성을 탐지하였으며, 분산 모델에서 세 개의 예측 변수가 활동도가 높은 반면 평균 모델에서는 두 개의 예측 변수만 활동도가 높아, 변동성에 대한 예측 변수 효과의 차이를 드러냄.
• 중고 자동차 데이터에 대한 예측 QQ-플롯은 HBART가 조건부 분포를 효과적으로 포착하였음을 보여주었으며, 동질분산 BART보다 우수한 적합도를 보임.
• 어업 데이터셋에서 이질분산 모델은 동질분산 BART보다 극적으로 더 좋은 적합도를 보였지만 완벽하진 않았으며, 추정된 평균과 분산을 사용한 플러그인 모델도 거의 유사한 성능을 보임.
• 알코올 소비 데이터에서는 HBART가 BART보다 성능 향상을 보이지 않아 이질분산성이 존재하지 않거나 모델이 잘 포착하지 못했음을 시사하며, 이는 진단 플롯과 일치함.
• 예측 QQ-플롯을 요약하는 e-통계량을 사용한 교차검증은 사전분포 조정에 효과적이었으며, 유일하게 조정이 필요한 초모수 κ는 평균 모델에서만 존재하여 구현의 복잡도가 낮음을 시사함.