[논문 리뷰] Bayesian quantile additive regression trees

Bereket P. Kindo, Hao Wang외 2명|arXiv (Cornell University)|2016. 07. 10.

Statistical Methods and Inference참고 문헌 4인용 수 3

한 줄 요약

이 논문은 비대칭 라플라스 우도와 혼합 표현을 사용하여 분位수 회귀에서 효율적인 사후 계산을 위한 새로운 방법인 베이지안 분위수 추가 회귀 트리(BayesQArt)를 제안한다. 시뮬레이션 연구와 실제 데이터에서 비선형 관계 및 고차원 분류 문제를 포함한 강력한 예측 성능을 보이며, 선형 분위수 회귀 및 랜덤 포레스트와 비교해 핵심 벤치마크에서 슈퍼리어한 성능을 보인다.

ABSTRACT

Ensemble of regression trees have become popular statistical tools for the estimation of conditional mean given a set of predictors. However, quantile regression trees and their ensembles have not yet garnered much attention despite the increasing popularity of the linear quantile regression model. This work proposes a Bayesian quantile additive regression trees model that shows very good predictive performance illustrated using simulation studies and real data applications. Further extension to tackle binary classification problems is also considered.

연구 동기 및 목표

• 분위수 회귀를 위한 앙상블 방법의 부족을 해결하기 위해 추가 회귀 트리에 대한 베이지안 프레임워크를 제안한다.
• 왜도 또는 무거운 尾를 가진 오차 분포 하에서 조건부 분위수의 강력한 추정을 가능하게 한다.
• 비선형 결정 경계를 가진 이元 분류 문제로 방법을 확장한다.
• p >> n 인 고차원 설정에서의 예측 정확도를 향상시킨다.
• 공액 사전과 혼합 표현을 사용한 MCMC를 통해 계산적으로 효율적인 베이지안 접근법을 제공한다.

제안 방법

• 잠재 변수를 통한 베이지안 추론로 분위수 회귀를 연결하기 위해 비대칭 라플라스 분포(ASD) 우도를 사용한다.
• 지수 및 정규 변량을 포함한 ASD의 혼합 표현을 사용하여 효율적인 깁스 샘플링을 가능하게 한다.
• 역전이 MCMC를 적용하여 트리 구조와 노드 파라미터(분할 규칙 및 종단 노드 값 포함)를 동시에 추정한다.
• 트리 공간을 효율적으로 탐색하기 위해 GROW 및 PRUNE 이동을 도입하여 계산 비용을 감소시킨다.
• 분류 확률를 분위수별 트리 앙상블로 모델링하여 이원 분류 문제에 모델을 적응시킨다.
• 예측 성능 평가 지표로 분류 오차율과 AUC를 사용하여 모델 정확도를 평가한다.

실험 결과

연구 질문

• RQ1 계산 가능성을 유지하면서 베이지안 추가 회귀 트리 모델이 조건부 분위수를 효과적으로 추정할 수 있는가?
• RQ2 비선형성과 고차원 데이터에서 제안된 방법이 선형 분위수 회귀 및 랜덤 포레스트와 비교해 예측 정확도에서 어떻게 성능을 내는가?
• RQ3 베이지안 분위수 추가 회귀 트리 모델이 평균 기반 방법보다 왜도가 심하거나 극단적인 반응 분포를 더 강력하게 처리할 수 있는가?
• RQ4 p >> n 인 고차원 분류 설정에서도 모델이 강력한 성능을 유지하는가?
• RQ5 비대칭 라플라스 분포의 혼합 표현이 트리 구조 분위수 회귀에 대한 효율적 MCMC 샘플링을 가능하게 하는가?

주요 결과

• 비선형 경계를 가진 시뮬레이션 연구에서 BayesQArt는 테스트 오차율 0.2185(표준오차 = 0.0100)와 AUC 0.8297(표준오차 = 0.0088)을 기록했으며, 랜덤 포레스트(오차 = 0.2600, AUC = 0.6363)를 능가했다.
• 고차원 암 분류 문제(p ≈ 10,000, n = 200)에서 BayesQArt는 테스트 오차율 0.1650(표준오차 = 0.0170)과 AUC 0.8712(표준오차 = 0.0165)를 기록했으며, 랜덤 포레스트(오차 = 0.1800, AUC = 0.8184)를 능가했다.
• 이 방법은 왜도가 심한 반응과 극단적 관측치를 다루는 데 있어 강력함을 보였으며, 분위수 회귀의 이론적 이점과 일관성을 보였다.
• GROW 및 PRUNE 이동의 사용은 계산 비용을 감소시키면서도 모델의 유연성과 예측 정확도를 유지했다.
• BayesQArt는 시뮬레이션 연구에서 높은 오차율 0.5500과 AUC 0.4684를 기록한 베이지안 선형 분위수 회귀(BayesQR.AL)보다 뛰어난 성능을 보였다.
• 모델은 표준 개인용 컴퓨터에서 평균 5.42분의 계산 시간을 기록하여 고차원 입력에도 불구하고 실용적인 확장성을 보였다.