[논문 리뷰] Pruning Random Forests for Prediction on a Budget

Nan Feng, Joseph Wang외 1명|arXiv (Cornell University)|2016. 06. 16.

Advanced Image and Video Retrieval Techniques참고 문헌 16인용 수 17

한 줄 요약

이 논문은 예산 제약 조건 하에서 예측 정확도와 특성 확보 비용 간의 트레이드오프를 최적화하는 바텀업 프루닝 방법을 제안한다. 특성 재사용 제약 조건을 포함한 0-1 정수계획문제로 프루닝을 공식화하고 전체 단조성(unimodularity)을 증명함으로써, 선형계획법(LP) 근사와 원시-이중 알고리즘을 통해 다항시간 내에 최적의 프루닝을 가능하게 하였으며, 벤치마크 데이터셋에서 최신 기법들을 능가하여 정확도 손실를 최소화하면서도 비용을 크게 감소시켰다.

ABSTRACT

We propose to prune a random forest (RF) for resource-constrained prediction. We first construct a RF and then prune it to optimize expected feature cost & accuracy. We pose pruning RFs as a novel 0-1 integer program with linear constraints that encourages feature re-use. We establish total unimodularity of the constraint set to prove that the corresponding LP relaxation solves the original integer program. We then exploit connections to combinatorial optimization and develop an efficient primal-dual algorithm, scalable to large datasets. In contrast to our bottom-up approach, which benefits from good RF initialization, conventional methods are top-down acquiring features based on their utility value and is generally intractable, requiring heuristics. Empirically, our pruning algorithm outperforms existing state-of-the-art resource-constrained algorithms.

연구 동기 및 목표

• 특성 확보에 비용이나 지연이 수반되는 대규모 분류 시스템에서 자원 제약 조건 하의 예측 문제를 해결하기 위해.
• 예측 정확도를 떨어뜨리지 않고 랜덤 포레스트의 평균 특성 확보 비용을 줄이기 위해.
• 특성 재사용과 앙상블 전반의 공동 트리 프루닝을 활용하는 전역 최적의 프루닝 전략을 개발하기 위해.
• 기존 상향식 특성 선택 방법의 비가역성 문제를 해결하기 위해 하향식 접근 대신 하향식 초기화 기반의 하향식 접근을 사용하기 위해.
• 이중성 이론과 네트워크 흐름 이론을 통해 대규모 데이터셋에서 확장 가능하고 효율적인 프루닝을 가능하게 하기 위해.

제안 방법

• 트리 간 특성 재사용을 장려하는 제약 조건을 포함한 0-1 정수선형계획문제로 랜덤 포레스트 프루닝을 공식화하기 위해.
• 제약 행렬의 전체 단조성을 증명하여, LP 근사가 최적의 정수해를 제공함을 보장하기 위해.
• 네트워크 흐름 이론에 기반한 원시-이중 알고리즘을 개발하여 대규모 데이터셋에 대한 해법을 스케일링하기 위해.
• 事전 학습된 랜덤 포레스트를 초기화로 사용하고, 경험 오차와 평균 특성 비용을 최소화하도록 트리를 프루닝하기 위해.
• 동일한 예측 예제에서 특성을 반복적으로 사용할 경우 첫 번째 확보 이후 추가 비용이 발생하지 않도록 특성 확보 비용을 모델링하기 위해.
• 균일한 비용과 비균일한 비용 설정 모두에 적용하여, 다양한 비용 이질성에 대한 강건성을 입증하기 위해.

실험 결과

연구 질문

• RQ1 자원 제약 조건 하에서 상향식 프루닝 접근이 하향식 특성 선택보다 더 나은 비용-정확도 트레이드오프를 달성할 수 있는가?
• RQ2 프루닝 과정에서 특성 재사용을 강제하면 정확도 저하를 최소화하면서도 비용을 크게 줄일 수 있는가?
• RQ3 전체 단조성 덕분에 LP 근사로 다항시간 내에 최적의 프루닝 문제를 해결할 수 있는가?
• RQ4 비균일한 특성 비용 조건 하에서 기존 알고리즘과 비교해 본다면, 이 방법은 어떻게 성능을 발휘하는가?
• RQ5 분할 기준의 선택(예: 엔트로피 vs. Pairs)이 프루닝 결과와 비용-정확도 트레이드오프에 영향을 미치는가?

주요 결과

• MiniBooNE 데이터셋에서 프루닝을 통해 평균 특성 비용을 7.3에서 0.2로 감소시켰고, 테스트 오차는 6.6%로 유지하였다.
• 프루닝 후 68.3%의 테스트 예측 예제가 특정 특성을 더 이상 사용하지 않게 되어 확보 비용이 크게 감소하였고, 정확도 손실는 거의 없었다.
• 제안된 BudgetPrune 방법은 CCP와 GreedyPrune를 능가하였으며, 비균일한 특성 비용 조건 하에서는 CCP의 성능이 급격히 떨어지는 상황에서도 뛰어난 성능을 보였다.
• Pairs 분할 기준에 기반한 프루닝은 저비용 환경에서 높은 정확도를 달성했고, 엔트로피 기반 포레스트는 높은 비용 환경에서 더 나은 성능을 보였다.
• 원시-이중 알고리즘이 대규모 데이터셋에 효율적으로 스케일링되었으며, 전체 단조성 덕분에 LP 근사를 통해 최적의 프루닝이 가능했다.
• 랜덤 특성 부분집합 크기의 변화(예: k=20 대비 k=120)에 대해 강건성을 입증하였고, BudgetPrune는 GreedyPrune가 큰 k에서 실패하는 상황에서도 우수한 성능을 유지하였다.