[논문 리뷰] BooST: Boosting Smooth Trees for Partial Effect Estimation in Nonlinear Regressions

Yuri Fonseca, Marcelo C. Medeiros외 2명|arXiv (Cornell University)|2018. 08. 10.

Gaussian Processes and Bayesian Inference참고 문헌 21인용 수 5

한 줄 요약

BooST는 비선형 회귀에서 부분 효과를 안정적이고 미분 가능한 방식으로 추정할 수 있도록 부스팅과 스무쓰 트랜지션 회귀 트리를 조합한 새로운 기계학습 모델을 제안한다. 딱딱한 분할 대신 스무쓰한 전이를 사용함으로써 BooST는 도함수의 해석적 계산을 가능하게 하여 기존 트리 기반 모델보다 뛰어난 해석 가능성을 제공하면서도 시뮬레이션 및 실세계 데이터에서 강력한 예측 성능을 유지를 한다.

ABSTRACT

In this paper, we introduce a new machine learning (ML) model for nonlinear regression called the Boosted Smooth Transition Regression Trees (BooST), which is a combination of boosting algorithms with smooth transition regression trees. The main advantage of the BooST model is the estimation of the derivatives (partial effects) of very general nonlinear models. Therefore, the model can provide more interpretation about the mapping between the covariates and the dependent variable than other tree-based models, such as Random Forests. We present several examples with both simulated and real data.

연구 동기 및 목표

• 일반적인 비선형 회귀에서 높은 해석 가능성을 갖는 부분 효과를 추정할 수 있는 기계학습 모델을 개발하는 것.
• 기존의 회귀 트리가 가지는 불안정성과 비가역성 문제를 해결하기 위해 날카로운 분할 대신 스무쓰한 전이를 사용하는 것.
• 부스팅과 스무쓰 트랜지션 트리를 조합하여 모델의 안정성과 예측 정확도를 향상시키는 것.
• 고차원 설정에서 부분 효과 추정을 위한 딥 뉴럴 네트워크와 커널 방법의 스케일러블한 대안을 제공하는 것.
• 경제학 및 관련 분야에서 이질적 치료 효과와 가격 수요의 민감도 추정을 위한 도함수의 해석적 계산을 가능하게 하는 것.

제안 방법

• BooST 모델은 각 약한 학습기(weak learner)로 스무쓰 트랜지션 회귀 트리(STR-Tree)를 사용하는 부스팅 기반의 반복적 조합을 수행한다.
• 각 STR-트리는 딱딱한 분할 대신 스무쓰하고 미분 가능한 함수(예: 로지스틱 또는 지수 전이)를 사용하여 도함수의 해석적 계산을 가능하게 한다.
• 모델는 그라디언트 부스팅을 통해 손실 함수(예: 평균제곱오차)를 최소화하도록 훈련되며, 각 새로운 트리는 이전 앙상블의 잔차를 보정한다.
• 부스팅 반복 과정에서 알고리즘은 전이 변수와 민감도 파라미터 γ로 매개변수화된 스무쓰 전이 함수에 기반한 최적의 분할을 선택한다.
• 최종 모델은 STR-트리들의 가중합으로 구성되어 있어 미분 가능성과 임의의 공변량 공간 내에서 정확한 부분 효과 추정이 가능하다.
• 과적합을 방지하기 위해 수축, 각 분할 시 예측변수의 부분표본 추출, 조기 정지 기법이 적용된다.

실험 결과

연구 질문

• RQ1 부스팅과 결합된 스무쓰 트랜지션 트리는 비선형 모델에서 안정적이고 미분 가능한 부분 효과 추정을 제공할 수 있는가?
• RQ2 기존의 트리 기반 모델(예: 랜덤 포레스트, CART 트리 기반 부스팅)과 비교할 때 BooST는 예측 정확도와 도함수 추정 측면에서 어떤가?
• RQ3 전이 파라미터 γ의 선택이 모델 성능와 해석 가능성에 어느 정도 영향을 미치는가?
• RQ4 BooST는 실세계 데이터셋에서 가격 수요의 민감도나 마진 효과와 같은 이질적 부분 효과를 신뢰성 있게 추정할 수 있는가?
• RQ5 이론적 일관성과 해석 가능성을 우선시할 경우, BooST는 딥 뉴럴 네트워크보다 부분 효과 추정에서 뛰어난 성능을 보이는가?

주요 결과

• 멜버른 주택 데이터셋에서 10겹 교차검증에서 BooST는 가장 낮은 검증 외부 RMSE를 기록했으며, 로그선형 모델을 능가하고 CART 트리 기반 부스팅과 동등하거나 슈퍼바이즈했다.
• γ ∈ [5,25] 범위의 BooST 모델은 10겹 교차검증에서 로그선형 모델 대비 7.1%의 상대적 RMSE 향상을 기록했으며, 최고 성능를 보인 베이스라인과 비교해 p값 < 0.01로 유의미했다.
• 시뮬레이션 데이터에서 BooST는 y = x³의 도함수를 정확히 추정했지만, 단일 STR-트리는 불안정성으로 인해 신뢰할 수 없는 도함수 추정을 보였다.
• 모델의 미분 가능성 덕분에 주택 크기, 위도, 경도가 부동산 가격에 미치는 마진 효과와 같은 부분 효과를 정확하게 해석적 방법으로 계산할 수 있었다.
• 고차원 입력에 대해서도 안정적인 성능을 보였으며, 메르빌의 공간적 가격 기울기(예: 도심과 만 근처에서의 음성 효과 포함)를 잘 드러내는 해석 가능한 스무쓰한 부분 효과 곡선을 제공했다.
• 랜덤 포레스트나 이산 트리 기반 부스팅과 비교해 성능는 유사했지만, 해석 가능한 도함수 계산 및 향상된 해석 가능성이라는 추가 이점이 있었다.