[논문 리뷰] Hierarchical Shrinkage: improving the accuracy and interpretability of tree-based methods

Abhineet Agarwal, Yan Shuo Tan외 3명|arXiv (Cornell University)|2022. 02. 02.

Explainable Artificial Intelligence (XAI)인용 수 6

한 줄 요약

이 논문은 단일 정규화 파rameter를 사용하여 조상의 평균으로 노드 예측값을 수축시키는 후행 정규화 방법인 계층적 수축(Hierarchical Shrinkage, HS)을 소개한다. 이 방법은 트리 기반 모델의 정확도와 해석 가능성성을 향상시키며, 트리의 구조를 변경하지 않고도 예측 성능을 햖थ하고 SHAP 값의 안정성을 높이며 결정 경계를 매끄럽게 한다. HS는 다양한 데이터셋에서 기준 모델을 능가하며 계산적으로 효율적이다.

ABSTRACT

Tree-based models such as decision trees and random forests (RF) are a cornerstone of modern machine-learning practice. To mitigate overfitting, trees are typically regularized by a variety of techniques that modify their structure (e.g. pruning). We introduce Hierarchical Shrinkage (HS), a post-hoc algorithm that does not modify the tree structure, and instead regularizes the tree by shrinking the prediction over each node towards the sample means of its ancestors. The amount of shrinkage is controlled by a single regularization parameter and the number of data points in each ancestor. Since HS is a post-hoc method, it is extremely fast, compatible with any tree growing algorithm, and can be used synergistically with other regularization techniques. Extensive experiments over a wide variety of real-world datasets show that HS substantially increases the predictive performance of decision trees, even when used in conjunction with other regularization techniques. Moreover, we find that applying HS to each tree in an RF often improves accuracy, as well as its interpretability by simplifying and stabilizing its decision boundaries and SHAP values. We further explain the success of HS in improving prediction performance by showing its equivalence to ridge regression on a (supervised) basis constructed of decision stumps associated with the internal nodes of a tree. All code and models are released in a full-fledged package available on Github (github.com/csinva/imodels)

연구 동기 및 목표

• 트리 기반 모델의 과적합과 불안정성, 특히 샘플 수가 적은 영역에서의 문제를 해결하기 위해 트리의 구조를 수정하지 않는 새로운 정규화 방법을 도입하는 것.
• 계층적 수축을 통한 예측값의 수축을 통해 의사결정 경계와 SHAP 값을 안정화시켜 랜덤 포레스트의 해석 가능성성을 향상시키는 것.
• 모든 트리 생성 알고리즘(CART, C4.5, 최적 트리 등)에 적용 가능한 빠르고, 독립적이며 호환 가능한 정규화 기법을 제공하는 것.
• 계층적 수축이 트리 노드에서 유도된 결정 스탭의 기저 위에서 리지 회귀를 근사함으로써 일반화 오차를 감소시킨다는 것을 보여주는 것.
• 예측 성능 향상이 미미한 경우에도, 특히 고차원 또는 노이즈가 많은 환경에서 HS가 모델의 강건성과 해석 가능성을 향상시킨다는 것을 보여주는 것.

제안 방법

• HS는 각 리프의 예측값을 그 리프의 평균과 모든 조상의 평균의 가중 평균으로 대체하며, 가중치는 표본 수와 정규화 파rameter λ에 따라 달라진다.
• 수축 강도는 단일 정규화 파arameter λ로 제어되며, 일반화된 교차 검증을 통해 편향과 분산의 균형을 맞추기 위해 튜닝된다.
• 이 방법은 후행적으로 적용되며, 기존에 훈련된 트리의 구조를 수정하지 않고 작동하므로 어떤 트리 알고리즘과도 호환된다.
• HS는 각 내부 노드에서 생성된 결정 스탭으로 구성된 감독 기반 위에서 리지 회귀와 수학적으로 동일하며, 기존 정규화 이론과 연결된다.
• 알고리즘은 imodels 라이브러리 내의 sklearn 호환 패키지로 구현되어 기존 머신러닝 파ip라인에 원활하게 통합될 수 있다.
• 이 접근법은 랜덤 포레스트의 개별 트리에 적용되어, 안정화된 특성 중요도와 SHAP 값을 통해 정확도와 해석 가능성성을 모두 향상시킨다.

실험 결과

연구 질문

• RQ1 조상의 평균으로 노드 예측값을 후행적으로 수축시키는 것이 의사결정 트리와 랜덤 포레스트의 일반화 성능을 향상시킬 수 있는가?
• RQ2 계층적 수축이 SHAP 값을 안정화하고 의사결정 경계를 개선하여 모델의 해석 가능성을 향상시키는가?
• RQ3 예측 정확도와 강건성 측면에서 전통적인 정규화 기법(예: 가지치기 또는 조기 정지)과 비교해 HS는 어떻게 다른가?
• RQ4 HS는 공변수 이동 또는 데이터 펌핑 상황에서 모델 성능을 얼마나 향상시키는가?
• RQ5 HS는 트리 생성 알고리즘의 종류에 관계없이 구조 수정 없이 일반적으로 적용 가능한가?

주요 결과

• HS는 다양한 실세계 데이터셋에서 일관되게 예측 성능을 향상시키며, 특히 회귀 및 분류 작업에서 뚜렷한 성과 향상을 보인다. 다른 정규화 기법과 병행 적용할 경우에도 유의미한 성능 향상이 이루어진다.
• 랜덤 포레스트의 각 트리에 HS를 적용하면 정확도와 SHAP 값의 안정성이 모두 향상되며, 유방암 데이터셋에서 100번의 랜덤 훈련-테스트 분할에 걸쳐 분산이 감소한다.
• HS는 각 특성의 SHAP 값이 더 뭉쳐져 있어 이질성이 감소하고 일관된 특성 기여도가 나타나 해석을 더 쉽게 만든다.
• 이 방법은 특히 고차원 환경에서 더 매끄럽고 안정적인 결정 경계를 생성하여 데이터 펌핑에 대한 모델의 강건성을 향상시킨다.
• HS는 계산적으로 효율적이며, 탐욕적, 동적 프로그래밍, 최적화 기반 방법을 사용해 생성된 모든 트리 기반 모델과 호환된다.
• 예측 성능 향상이 미미한 데이터셋(예: Heart, Diabetes, Ionosphere)에서도 HS는 SHAP 값의 안정성을 크게 향상시켜 해석 가능성의 향상을 보여준다.