[논문 리뷰] On Extreme Pruning of Random Forest Ensembles for Real-time Predictive Applications

Khaled Fawagreh, Mohamed Medhat Gaber외 1명|arXiv (Cornell University)|2015. 03. 17.

Machine Learning and Data Classification참고 문헌 48인용 수 3

한 줄 요약

이 논문은 분류 행동을 기반으로 결합된 의사결정트리들을 클러스터링하여 다양하고 대표적인 트리를 선택하는 새로운 극단적 프루닝 방법인 CLUB-DRF를 제안한다. 트리를 클러스터링하고 각 클러스터에서 하나의 트리만 유지함으로써, 원래 Random Forest 정확도를 유지하거나 초월하면서도 최대 99%의 프루닝을 달성하며, 이로 인해 실시간 배포가 가능해지고 추론 속도가 17–100배 빨라진다.

ABSTRACT

Random Forest (RF) is an ensemble supervised machine learning technique that was developed by Breiman over a decade ago. Compared with other ensemble techniques, it has proved its accuracy and superiority. Many researchers, however, believe that there is still room for enhancing and improving its performance accuracy. This explains why, over the past decade, there have been many extensions of RF where each extension employed a variety of techniques and strategies to improve certain aspect(s) of RF. Since it has been proven empiricallthat ensembles tend to yield better results when there is a significant diversity among the constituent models, the objective of this paper is twofold. First, it investigates how data clustering (a well known diversity technique) can be applied to identify groups of similar decision trees in an RF in order to eliminate redundant trees by selecting a representative from each group (cluster). Second, these likely diverse representatives are then used to produce an extension of RF termed CLUB-DRF that is much smaller in size than RF, and yet performs at least as good as RF, and mostly exhibits higher performance in terms of accuracy. The latter refers to a known technique called ensemble pruning. Experimental results on 15 real datasets from the UCI repository prove the superiority of our proposed extension over the traditional RF. Most of our experiments achieved at least 95% or above pruning level while retaining or outperforming the RF accuracy.

연구 동기 및 목표

• 실시간 응용을 위한 대규모 Random Forest 앙상블의 계산 및 메모리 오버헤드를 줄이기 위해.
• 클러스터링 기반 프루닝을 통해 트리 간의 다양성을 유지함으로써 예측 성능을 향상시키기 위해.
• 앙상블 내 트리 수를 극적으로 줄이면서도 정확도를 유지하거나 향상시키는 프루닝 전략을 개발하기 위해.
• 다양한 클러스터에서 유사한 대표 트리들이 전체 앙상블을 초월하거나 대체할 수 있음을 입증하기 위해.
• UCI 저장소의 다양한 실제 데이터셋에서 방법의 유효성을 검증하기 위해.

제안 방법

• 훈련 데이터의 일부에서 트리들의 예측 행동을 기반으로 Random Forest 내 의사결정트리를 클러스터링한다.
• 예를 들어 k-means와 같은 클러스터링 알고리즘을 사용하여 유사한 분류 출력을 가진 트리를 클러스터로 묶는다.
• 각 클러스터에서 대표 트리를 하나 선택한다 — 일반적으로 클러스터의 중심점이거나 가장 정확도가 높은 트리이다.
• 이러한 대표 트리들만으로 구성된 프루닝된 앙상블(CLUB-DRF)을 형성하여 추론 비용을 줄인다.
• 최종 예측을 위해 프루닝된 앙상블에서 다수결정을 적용함으로써 추론 시간을 크게 감소시킨다.
• 트리 간의 예측 유사도를 계산하기 위해 데이터셋의 일부를 사용하여 효율적인 클러스터링을 가능하게 한다.

실험 결과

연구 질문

• RQ1 예측 행동을 기반으로 한 의사결정트리의 클러스터링이 Random Forest 내에서 중복된 트리를 식별할 수 있는가?
• RQ2 각 클러스터에서 하나의 대표 트리를 선택할 경우, 전체 앙상블 대비 분류 정확도가 유지되거나 향상되는가?
• RQ3 원래 Random Forest 성능을 유지하거나 초월하면서 트리 수를 얼마나 줄일 수 있는가 (즉, 프루닝 수준은 얼마나 높은가)?
• RQ4 다양한 데이터셋에서 프루닝된 앙상블(CLUB-DRF)은 원래 Random Forest와 추론 속도 및 정확도 측면에서 어떻게 비교되는가?
• RQ5 클러스터링 기반 프루닝 접근법은 다양한 유형의 실제 데이터셋에서 안정적인 성능을 보이는가?

주요 결과

• 제안된 CLUB-DRF 방법은 15개의 UCI 데이터셋에서 평균 94%에서 99%의 프루닝 수준을 달성하면서도 원래 Random Forest의 정확도를 유지하거나 초월하였다.
• 평균적으로 프루닝된 앙상블은 전체 Random Forest 대비 각 추론 인스턴스당 17배에서 100배 빠른 속도를 기록하였다.
• 15개 데이터셋 중 13개에서 프루닝된 앙상블이 원래 Random Forest와 동일하거나 더 높은 정확도를 달성하였으며, 특히 vote 데이터셋에서는 95% 프루닝 시 95.95%의 정확도(비교 기준 RF는 95.74%)를 기록하였다.
• sonar 데이터셋(95% 프루닝 시 96.62% 정확도)과 화이트 클로버 데이터셋(95% 프루닝 시 92.86% 정확도)을 포함한 다양한 데이터셋에서 일관된 성능을 보였다.
• 클러스터링 기반 접근법이 다양성을 효과적으로 포착했음을 입증하였으며, 각 클러스터의 대표 트리가 전체 앙상블을 초월하거나 대체하는 것으로 나타났다.
• 모든 테스트 데이터셋에서 높은 F1 점수와 AUC 값을 유지하여 정밀도와 재현율 모두에서 뛰어난 안정성을 확보하였다.