[논문 리뷰] Feature-Budgeted Random Forest

Nan Feng, Joseph Wang외 1명|arXiv (Cornell University)|2015. 02. 20.

Machine Learning and Data Classification참고 문헌 14인용 수 28

한 줄 요약

이 논문은 사용자가 지정한 평균 특성 확보 비용 내에서 예측 오차를 최소화하는 새로운 랜덤 포레스트 알고리즘인 기능-예산 랜덤 포레스트(BudgetRF)를 제안한다. 최소화 전략을 사용한 비용 가중 불순도 분할을 통해 BudgetRF는 저비용, 고성능의 트리를 구성하여 기존 최첨단 기법들과 비교해 벤치마크 데이터셋에서 뛰어난 정확도-비용 트레이드오프를 달성한다.

ABSTRACT

We seek decision rules for prediction-time cost reduction, where complete data is available for training, but during prediction-time, each feature can only be acquired for an additional cost. We propose a novel random forest algorithm to minimize prediction error for a user-specified {\it average} feature acquisition budget. While random forests yield strong generalization performance, they do not explicitly account for feature costs and furthermore require low correlation among trees, which amplifies costs. Our random forest grows trees with low acquisition cost and high strength based on greedy minimax cost-weighted-impurity splits. Theoretically, we establish near-optimal acquisition cost guarantees for our algorithm. Empirically, on a number of benchmark datasets we demonstrate superior accuracy-cost curves against state-of-the-art prediction-time algorithms.

연구 동기 및 목표

• 예측 시점에서 사용자가 정의한 평균 특성 확보 비용 내에서 예측 오차를 최소화하는 문제에 대응한다.
• 표준 랜덤 포레스트의 한계를 극복한다. 표준 랜덤 포레스트는 특성 비용을 무시하고 종종 비용이 높은 특성을 무분별하게 선택하기 때문이다.
• 포레스트 전체의 총 특성 확보 비용을 최소화하면서도 높은 트리 다양성과 일반화 성능을 유지한다.
• 스케일링 가능하고, 병렬 처리가 가능하며 분산 데이터베이스에 적용 가능한 탐욕적 알고리즘을 개발한다.
• 실험적으로 기존의 예측 시점 예산 설정 학습 알고리즘보다 더 나은 정확도-비용 트레이드오프를 달성함을 입증한다.

제안 방법

• 최소화 전략을 사용한 비용 가중 불순도 분할 기준을 도입하여 분류 성능와 특성 확보 비용을 균형 잡는다.
• 각 결정 트리를 탐욕적 알고리즘을 사용해 구성하며, 가장 낮은 비용 가중 지니 불순도 감소를 기반으로 분할을 선택한다.
• 예산 제약 조건을 충족할 때까지 저비용, 고강도 트리를 반복적으로 추가하여 랜덤 포레스트를 구성한다.
• 트리 깊이를 제어하기 위해 임계값 파rameter α를 사용하며, α는 검증을 통해 튜닝된다.
• 특성 확보를 적응적으로 구현한다: 분할에 사용될 때에만 특성이 확보되므로 예측 당 평균 비용이 감소한다.
• 이론적 분석을 통해 개별 트리와 전체 포레스트에 대해 거의 최적의 비용 보장을 제공한다.

실험 결과

연구 질문

• RQ1 사용자가 지정한 평균 특성 확보 비용 내에서 예측 오차를 최소화하는 랜덤 포레스트를 설계할 수 있는가?
• RQ2 트리 구축 과정에 특성 비용을 통합할 경우, 표준 랜덤 포레스트와 비교해 일반화 성능와 비용 효율성에 어떤 영향을 미치는가?
• RQ3 탐욕적 비용 가중 분할 전략이 최적의 비용 최소화 트리 구조를 어느 정도 근사하는가?
• RQ4 제안된 방법은 기존의 최첨단 예측 시점 예산 설정 학습 알고리즘보다 정확도-비용 트레이드오프 측면에서 뛰어나게 성능을 발휘하는가?
• RQ5 혼합 유형 데이터(연속형 및 범주형 특성)와 비선형 결정 경계를 가진 데이터에서 이 방법은 어떻게 대응하는가?

주요 결과

• Forest Covertype 데이터셋에서, BudgetRF는 10개의 트리로 구성된 모델에서 테스트 예측 당 평균적으로 23.21%의 특성만 사용했고, 표준 랜덤 포레스트는 63.04%를 사용했다.
• MiniBooNE에서, BudgetRF는 57.80%의 평균 특성 사용률로 테스트 오차 0.0786을 기록했으며, 더 높은 예산에서 ASTC와 CSTC를 능가했다.
• CIFAR-10에서, BudgetRF는 모든 예산 수준에서 ASTC와 CSTC를 앞서며 과적합 현상 없이 성능을 유지했다. 반면 ASTC와 CSTC는 특정 예산 이후 오차가 증가하는 경향을 보였다.
• α=0으로 설정했을 때도 경쟁 가능한 테스트 오차(Forest에서 0.1364, MiniBooNE에서 0.0786, CIFAR에서 0.3600)를 기록했고, 표준 RF보다 특성 사용률이 크게 낮았다.
• 혼합형 데이터 유형에 대해 뛰어난 강인성을 보였으며, 특히 다른 방법이 어려움을 겪는 비선형 결정 영역에서 뛰어난 성능을 발휘했다.
• 실험 결과, BudgetRF는 네 가지 기준 벤치마크 데이터셋에서 뛰어난 정확도-비용 곡선을 달성하여, 비용 민감한 예측에서의 우수성을 확인했다.