[논문 리뷰] Splitting matters: how monotone transformation of predictor variables may improve the predictions of decision tree models

Tal Galili, Isaac Meilijson|arXiv (Cornell University)|2016. 11. 14.

Machine Learning and Data Classification인용 수 3

한 줄 요약

이 논문은 예측 변수의 단조성 변환이 의사결정나무 모델에 대해 불변임이라는 일반적인 믿음을 도전하며, 분할점 근처의 보간 오차를 중간값 보간 또는 분위수 변환을 통해 줄일 수 있음을 보여준다. 예측 변수를 누적분포함수(CDF)로 변환할 경우 보간 오차를 최대 50%까지 줄일 수 있으며, 특히 훈련 데이터와 테스트 데이터의 분포가 다를 경우에 특히 효과적이다.

ABSTRACT

It is widely believed that the prediction accuracy of decision tree models is invariant under any strictly monotone transformation of the individual predictor variables. However, this statement may be false when predicting new observations with values that were not seen in the training-set and are close to the location of the split point of a tree rule. The sensitivity of the prediction error to the split point interpolation is high when the split point of the tree is estimated based on very few observations, reaching 9% misclassification error when only 10 observations are used for constructing a split, and shrinking to 1% when relying on 100 observations. This study compares the performance of alternative methods for split point interpolation and concludes that the best choice is taking the mid-point between the two closest points to the split point of the tree. Furthermore, if the (continuous) distribution of the predictor variable is known, then using its probability integral for transforming the variable ("quantile transformation") will reduce the model's interpolation error by up to about a half on average. Accordingly, this study provides guidelines for both developers and users of decision tree models (including bagging and random forest).

연구 동기 및 목표

• 의사결정나무 모델이 예측 변수의 단조성 변환에 대해 진정으로 불변인지, 특히 외부 데이터 보간 시에 대해 조사한다.
• 새로운 관측치가 훈련 데이터에 가까운데 포함되어 있지 않을 경우, 분할점 보간 방법이 예측 오차에 미치는 영향을 분석한다.
• 다양한 훈련 데이터 조건에서 다양한 보간 규칙(Sweep Left, Sweep Right, 중간값)의 효과를 평가한다.
• 예측 변수를 그들의 경험적 또는 이론적 CDF(확률적 통합 변환)를 사용해 변환할 경우 보간 오차가 감소하는지 탐색한다.
• 최적의 예측 변수 변환과 보간 방법을 통해 의사결정나무, 랜덤 포레스트 및 배깅 모델의 성능 향상을 위한 실용적 지침을 제공한다.

제안 방법

• 세 가지 보간 규칙을 제안한다: Sweep Left(가장 작은 값 이상으로 분류), Sweep Right(가장 큰 값에만 분류), 중간값 보간(분할점에 가장 가까운 두 값의 평균 사용).
• 균일, 베타, 이중삼각, 정규분포 혼합 등 다양한 분포에서 평균 절대 오차(MAE)를 분석 및 시뮬레이션 기반으로 평가하여 보간 방법을 비교한다.
• 진정한 분포가 알려져 있거나 추정 가능한 경우, 예측 변수를 균일 분포 랜덤 변수로 변환하기 위해 확률적 통합 변환($F(X)$)을 적용하여 보간 성능을 안정화시킨다.
• 진정한 분포가 알려져 있지 않지만 레이블이 없는 테스트 데이터가 가용한 경우, 반모수적 보정을 위해 경험적 CDF(ECDF)를 사용한다.
• Rao-Blackwellized 및 스위프트 추정기 등 다양한 추정기의 MAE를 추정하기 위해 $10^5$회 반복의 시뮬레이션 스터디를 수행한다.
• 실세계 데이터(예: weatherAUS 데이터셋)를 사용해 결과를 검증하며, R 코드와 `edfun` 패키지를 활용해 경험적 CDF 계산을 빠르게 수행한다.

실험 결과

연구 질문

• RQ1 새로운 관측치가 훈련 데이터에 가까우나 포함되어 있지 않을 경우, 의사결정나무의 예측 정확도는 분할점 보간 방법의 선택에 따라 달라지는가?
• RQ2 분할 경계 근처에서 분할점을 추정하기 위해 사용된 훈련 관측수의 수가 증가함에 따라 오분류 오차는 어떻게 변하는가?
• RQ3 예측 변수를 누적분포함수(CDF)로 변환함으로써 의사결정나무 모델의 보간 오차를 줄일 수 있는가?
• RQ4 훈련 데이터와 테스트 데이터의 분포가 다를 경우, 중간값 보간 규칙이 Sweep Left 또는 Sweep Right에 비해 성능 향상은 어느 정도 이루어지는가?
• RQ5 반감독 또는 분포가 다른 설정에서 확률적 통합 변환을 사용할 경우 예측 정확도 향상 정도는 어느 정도인가?

주요 결과

• 분할점 근처에서 예측 오차는 훈련 관측수가 10개일 경우 최대 9%까지 올라가며, 100개로 증가하면 1%로 감소한다.
• 중간값 보간 규칙($\hat{p}_{SB} = \frac{L+R}{2}$)은 항상 Sweep Left 및 Sweep Right보다 우수하며, 일부 경우에서 MAE를 최대 50%까지 감소시킨다.
• 훈련 데이터와 테스트 데이터의 분포가 다를 경우(예: $X_{train} \sim BT(p)$, $X_{test} \sim U(0,1)$), 훈련 데이터의 CDF($F_{train}(X_{train})$)를 사용한 확률적 통합 변환으로 보간 오차가 평균적으로 절반 이하로 줄어든다.
• 중간값 규칙의 성능은 강인하며, 진정한 분포가 알려져 있지 않을 경우 이론적 베이즈 추정기보다도 종종 뛰어나다.
• 반모수적 설정에서 경험적 CDF(ECDF)를 사용한 변환은 특히 레이블이 없는 테스트 데이터가 가용할 경우 MAE를 크게 감소시킨다.
• 본 연구는 단조성 변환에 대해 의사결정나무 모델이 불변이라는 널리 퍼진 믿음이 보간 상황에서는 잘못되었음을 확인하였으며, 특히 훈련 데이터가 희소하거나 테스트 데이터와 분포가 다를 경우 더욱 그렇다.