[논문 리뷰] An Outlier Detection-based Tree Selection Approach to Extreme Pruning of Random Forests

Khaled Fawagreh, Mohamed Medhat Gaber외 1명|arXiv (Cornell University)|2015. 03. 17.

Anomaly Detection Techniques and Applications참고 문헌 38인용 수 3

한 줄 요약

이 논문은 로컬 이상치 요소(LOF) 점수를 사용하여 가장 다양성이 높은 트리를 선택하는 극단적 프루닝 방법인 LOFB-DRF를 제안한다. 이 방법은 정확도를 유지하거나 향상시키면서도 최대 99%의 프루닝을 달성한다. 높은 LOF 점수를 가진 트리—즉, 더 높은 다양성을 나타내는 트리—를 우선시함으로써 성능을 손상시키지 않고 모델 크기와 추론 시간을 줄일 수 있으며, 실시간 응용 분야에 적합하다.

ABSTRACT

Random Forest (RF) is an ensemble classification technique that was developed by Breiman over a decade ago. Compared with other ensemble techniques, it has proved its accuracy and superiority. Many researchers, however, believe that there is still room for enhancing and improving its performance in terms of predictive accuracy. This explains why, over the past decade, there have been many extensions of RF where each extension employed a variety of techniques and strategies to improve certain aspect(s) of RF. Since it has been proven empirically that ensembles tend to yield better results when there is a significant diversity among the constituent models, the objective of this paper is twofolds. First, it investigates how an unsupervised learning technique, namely, Local Outlier Factor (LOF) can be used to identify diverse trees in the RF. Second, trees with the highest LOF scores are then used to produce an extension of RF termed LOFB-DRF that is much smaller in size than RF, and yet performs at least as good as RF, but mostly exhibits higher performance in terms of accuracy. The latter refers to a known technique called ensemble pruning. Experimental results on 10 real datasets prove the superiority of our proposed extension over the traditional RF. Unprecedented pruning levels reaching 99% have been achieved at the time of boosting the predictive accuracy of the ensemble. The notably high pruning level makes the technique a good candidate for real-time applications.

연구 동기 및 목표

• 100~500개의 트리를 포함하는 큰 랜덤 포레스트의 높은 계산 및 메모리 비용 문제를 해결하기 위해 정확도를 훼손하지 않고 앙상블 크기를 줄이는 것.
• 남은 트리 간의 높은 다양성을 확보하여 예측 성능을 향상시키는 것.
• 효율적이고 효과적인 프루닝 전략을 개발하여 작고 정확한 모델을 실시간 배포할 수 있도록 하는 것.
• 비지도 이상치 탐지 기법이 앙상블 프루닝을 위한 다양하고 고성능 트리를 효과적으로 식별할 수 있는지 조사하는 것.
• 다양성 기반 트리 선택을 통해 극단적 프루닝(최대 99%)이 정확도를 유지하거나 향상시키며 가능할 수 있음을 입증하는 것.

제안 방법

• 이 방법은 랜덤 포레스트의 각 트리에 대해 훈련 데이터 인스턴스 전역에서의 예측 다양성에 기반해 이상치 점수를 계산하기 위해 로컬 이상치 요소(LOF)를 사용한다.
• 가장 높은 LOF 점수를 가진 트리가 선택되며, 이는 앙상블 내에서 가장 다양성 있는, 또는 '이상치'에 가까운 예측을 나타내기 때문이다.
• 최종적으로 프루닝된 모델인 LOFB-DRF는 다수결 투표를 위해 이러한 고-LOF 트리들만을 사용하여 앙상블 내 트리 수를 크게 줄인다.
• LOF는 훈련 세트에서 모든 트리의 예측 벡터에 적용되며, 각 트리의 출력을 고차원 공간 내의 한 점으로 간주한다.
• 프루닝 과정은 비지도이며 재학습이 필요하지 않으며, 사전 훈련된 랜덤 포레스트에 직접 적용된다.
• 정확도, 프루닝 비율, 계산 효율성 등을 평가하기 위해 10개의 실세계 데이터셋에서 평가가 수행된다.

실험 결과

연구 질문

• RQ1 로컬 이상치 요소(LMF)는 앙상블 성능에 기여하는 가장 다양한 트리를 효과적으로 식별할 수 있는가?
• RQ2 LOF 기반 트리 선택을 통해 랜덤 포레스트를 어느 정도 프루닝할 수 있으며, 정확도를 유지하거나 향상시킬 수 있는가?
• RQ3 성능 저하가 발생하기 전까지 LOF 기반 선택을 통해 도달할 수 있는 최대 프루닝 비율은 얼마인가?
• RQ4 다양한 데이터셋에서 LOFB-DRF는 기존의 랜덤 포레스트와 정확도 및 추론 속도 측면에서 어떻게 비교되는가?
• RQ5 다양성에 기반한 지침을 통해 극단적 프루닝(예: 99%)이 예측 성능에 상당한 손실 없이 달성될 수 있는가?

주요 결과

• LOFB-DRF는 'audit' 및 'vote' 데이터셋을 포함한 여러 데이터셋에서 최대 99%의 프루닝을 달성했으며, 정확도에 거의 또는 전혀 영향을 주지 않았다.
• 소나르(sonar) 데이터셋에서는 오직 5개의 트리(95% 프루닝)로도 97.97%의 정확도를 유지했으며, 일부 경우에서 전체 랜덤 포레스트를 초월했다.
• 'vote' 데이터셋에서는 오직 5개의 트리(95% 프루닝)로도 97.97%의 정확도를 기록해 극단적 압축에서도 높은 성능을 보였다.
• 소이비안( soybean) 데이터셋에서는 오직 5개의 트리로도 77.59%의 정확도를 유지했으며, 일부 설정에서 전체 랜덤 포레스트를 뛰어넘었다.
• 모든 10개의 데이터셋에서 이 방법은 90% 이상의 프루닝 수준에서도 전체 랜덤 포레스트와 동등하거나 그 이상의 성능를 보였으며, 일관되게 뛰어난 성능를 나타냈다.
• 이 방법은 모델의 작고 정밀한 특성과 예측 정확도 사이에 뚜렷한 균형을 이룩했으며, 실시간 배포에 적합하다.