[논문 리뷰] Feature Selection via Regularized Trees

Houtao Deng, George C. Runger|arXiv (Cornell University)|2012. 01. 07.

Neural Networks and Applications참고 문헌 26인용 수 55

한 줄 요약

이 논문은 랜덤 포레스트와 부스팅 트리가 이전에 선택된 특성들과 유사한 정보 얻기 양상(정보 이득)을 가진 특성을 재사용하는 것을 방지하기 위해 정규화 페널티를 도입하는 트리 정규화 프레임워크를 제안한다. 이 방법은 단일 모델 학습 단계 동안 고품질이면서 상호 중복이 없는 특성 조합을 효율적으로 선택하며, 기존의 필터 및 워퍼 방법보다 정확도와 효율성에서 뛰어나며, 복잡한 데이터 유형을 자연스럽게 다룰 수 있다.

ABSTRACT

We propose a tree regularization framework, which enables many tree models to perform feature selection efficiently. The key idea of the regularization framework is to penalize selecting a new feature for splitting when its gain (e.g. information gain) is similar to the features used in previous splits. The regularization framework is applied on random forest and boosted trees here, and can be easily applied to other tree models. Experimental studies show that the regularized trees can select high-quality feature subsets with regard to both strong and weak classifiers. Because tree models can naturally deal with categorical and numerical variables, missing values, different scales between variables, interactions and nonlinearities etc., the tree regularization framework provides an effective and efficient feature selection solution for many practical problems.

연구 동기 및 목표

• 다수의 모델 재학습이 필요한 워퍼 기반 특성 선택 방법의 높은 계산 비용을 해결하기 위해.
• 예측 성능를 유지하면서 특성 중복을 줄이는 단일 모델 기반 임bedded 특성 선택 접근법을 개발하기 위해.
• 혼합된 데이터 유형, 결측치, 비선형성을 처리할 수 있도록 트리 기반 모델에 내장된 특성 선택 기능을 확장하기 위해.
• 정규화 프레임워크가 강력한(예: RF) 및 약한(예: C4.5) 분류기 모두에 대해 효과적으로 작동하는지 평가하기 위해.
• 교차 검증이나 수동 커프오프 선택 없이도 최적의 특성 수를 자동으로 결정할 수 있는지 검증하기 위해.

제안 방법

• 프레임워크는 이전에 선택된 특성들과 유사한 정보 이득을 가진 특성을 재사용하는 것을 방지하기 위해, 이전에 사용된 특성들과 유사한 정보 이득을 가진 특성을 선택하는 것을 억제하는 정규화 페널티를 도입한다.
• 페널티는 정보 이득 유사도에 기반하며, 기존에 선택된 특성들과 비교해 특정 특성의 이득이 중복되는지 여부를 판단하기 위한 임계값을 사용한다.
• 이 방법은 랜덤 포레스트(RRF)와 부스팅 트리(RBoost)에 적용되며, 분할 기준에 정규화 항을 추가로 통합한다.
• 특성 선택은 모델 학습 과정에 내장되어 있어 별도의 모델 반복이 필요 없으며, 단일 패assing 학습이 가능하다.
• 정규화는 단일 특성 분할을 사용하는 모든 트리 모델에 일반적으로 적용 가능하다.
• 프레임워크는 범주형 및 수치형 변수, 결측치, 척도 차이, 상호작용 및 비선형 관계를 자연스럽게 처리할 수 있다.

실험 결과

연구 질문

• RQ1 다수의 모델 재학습이 필요 없이 트리 앙상블이 특성 선택을 수행할 수 있도록 정규화 프레임워크를 설계할 수 있는가?
• RQ2 정규화된 트리 앙상블의 성능은 전통적인 필터 방법(예: CFS, FCBF)과 워퍼 방법(예: SVM-RFE)에 비해 특성 조합의 품질과 예측 정확도 측면에서 어떻게 비교되는가?
• RQ3 정규화 프레임워크는 특성 중복을 줄이고 계산 비용을 감소시키는 동시에 분류 정확도를 유지하거나 향상시키는가?
• RQ4 이 방법은 강력한 학습기(예: 랜덤 포레스트)와 약한 학습기(예: C4.5) 모두에서 어떻게 성능을 발휘하는가?
• RQ5 교차 검증이나 수동 커프오프 선택 없이도 프레임워크가 최적의 특성 수를 자동으로 결정할 수 있는가?

주요 결과

• RRF와 RBoost는 랜덤 포레스트와 같은 강력한 학습기에서 전체 특성 사용과 비교해 분류 정확도를 유지하거나 略로 향상시켰다.
• RRF 또는 RBoost에 의해 선택된 특성으로 학습된 RF는 CFS나 FCBF에 의해 선택된 특성으로 학습한 경우보다 유의미하게 더 적은 정확도 손실를 보였다. 이는 예측 정보를 더 잘 유지했음을 시사한다.
• CFS와 FCBF보다 RRF와 RBoost는 더 많은 특성을 선택했지만 더 뛰어난 예측 성능를 달성했으며, 이는 추가 특성이 다중 상호작용을 유용하게 포착했음을 의미한다.
• 작은 데이터셋(예: arcene)에서는 RRF와 RBoost가 CFS에 비해 유의미하게 뛰어나지 않았다. 이는 트리 깊이가 제한되어 복잡한 상호작용을 포착하기 어려웠기 때문일 것이다.
• C4.5는 모든 특성 선택 방법과 경쟁 가능한 성능를 보였지만, RRF와 RBoost의 이점은 랜덤 포레스트와 같은 더 강력한 학습기에서 더 두드러졌다.
• RRF는 SVM-RFE의 최적 성능에 경쟁적으로 도달했으며, 실행 시간은 10초 미만으로 매우 빠르게, SVM-RFE의 100초 이상과 비교해 뛰어난 효율성을 입증했다.