[논문 리뷰] High-dimensional nonparametric monotone function estimation using BART

Hugh Chipman, Edward I. George외 2명|arXiv (Cornell University)|2016. 12. 06.

Statistical Methods and Inference참고 문헌 22인용 수 15

한 줄 요약

이 논문은 고차원 설정에서 비모수적 회귀 추정을 향상시키기 위해 하나 이상의 예측 변수에서 단조성을 강제하는 제약된 베이지안 덴드로그리스 트리스(BART)인 Monotone BART를 제안한다. 새로운 MCMC 알고리즘을 통해 단조성 제약 조건을 통합함으로써, 더 매끄럽고 해석 가능하며 더 예측력 있는 함수 추정을 달성하며, 불확실성과 사전 분포 민감도가 감소한다.

ABSTRACT

For the estimation of a regression relationship between Y and a large set of potential predictors x 1 , . . . , x p , the flexible nature of a nonparametric approach such as BART (Bayesian Additive Regression Trees) allows for a much richer set of possibilities than a more restrictive parametric approach. However, it may often occur that subject matter considerations suggest the relationship will be monotone in one or more of the predictors. For such situations, we propose monotone BART, a constrained version of BART that uses the monotonicity information to improve function estimation without the need of using a parametric form. Imposing monotonicity, when appropriate, results in (i) function estimates that are smoother and more interpretable, (ii) better out-of-sample predictive performance, (iii) less uncertainty, and (iv) less sensitivity to prior choice. While some of the key aspects of the unconstrained BART model carry over directly to monotone BART, the imposition of the monotonicity constraints necessitates a fundamental rethinking of how the model is implemented. In particular, in the original BART algorithm, the Markov Chain Monte Carlo algorithm relied on a conditional conjugacy that is no longer available in a high-dimensional, constrained space.

연구 동기 및 목표

• 주제 영역 지식이 단조 관계를 시사하는 고차원 설정에서의 민감한 해석 가능 회귀 모델의 필요성을 해결하기 위해.
• 단조성 제약 조건을 통합하여 비모수 함수 추정의 예측 성능을 향상시키고 불확실성을 감소시키기 위해.
• 고차원 예측 변수 공간에서 단조성을 강제하면서도 BART의 유연성을 유지하는 계산적으로 실현 가능한 MCMC 알고리즘을 개발하기 위해.
• 모델의 구조적 정보로 단조성을 활용하여 사전 분포 민감도를 감소시키기 위해.

제안 방법

• 모델은 특정 예측 변수에 대해 단조성 제약 조건을 도입함으로써 BART를 확장하며, 이는 추정된 함수가 관련 공변량에서 비감소 또는 비증가함을 보장하는 제약된 사전 분포를 사용한다.
• 표준 BART에서 사용하는 조건부 공액성을 대체하기 위해, 단조성 제약 조건 하에서의 사후 계산을 가능하게 하는 새로운 마르코프 체인 몬테카를로(MCMC) 알고리즘이 개발되었다.
• 각 트리 성분이 전체 함수의 단조성을 유지하면서도 BART의 가산 구조를 유지할 수 있도록 재매개변수화 및 기각 샘플링 전략을 사용한다.
• 제약된 사전과 수정된 사후 시뮬레이션 기법을 통해 단조성을 통합하면서도 BART의 베이지안 비모수적 유연성을 유지한다.
• 고차원 예측 변수 공간을 고려하기 위해 효율적인 제약된 매개변수 공간 탐색을 허용하는 희박한 가산 트리 구조를 사용하여 구현한다.

실험 결과

연구 질문

• RQ1 단조성 제약 조건이 고차원 설정에서 비모수적 회귀의 정확도와 해석 가능성에 향상 효과를 줄 수 있는가?
• RQ2 BART에서 단조성 강제가 불확실성 정량화와 사전 민감도에 어떤 영향을 미치는가?
• RQ3 고차원 비모수 모델에서 단조성 제약 조건을 적용할 때 MCMC 효율성을 유지하기 위해 필요한 계산 전략은 무엇인가?
• RQ4 Monotone BART는 외부 표본 예측 측면에서 비제약 BART보다 어느 정도 뛰어나게 성능을 발휘하는가?

주요 결과

• 주제 영역 지식 기반의 단조성 제약 조건을 통해 관련 예측 변수에서 단조성을 강제함으로써, Monotone BART는 더 매끄럽고 해석 가능한 함수 추정치를 생성한다.
• 제약된 모델은 진정한 관계에서 단조성이 성립할 경우 비제약 BART보다 더 나은 외부 표본 예측 성능을 달성한다.
• 구조적 정보를 제약 조건을 통해 통합함으로써 Monotone BART는 사후 불확실성을 감소시키고 사전 선택 민감도를 낮춘다.
• 제안된 MCMC 알고리즘은 단조성 제약 조건 하에서의 사후 계산을 성공적으로 가능하게 하여, 제약된 공간에서의 조건부 공액성 상실 문제를 해결한다.