[논문 리뷰] Relevant Ensemble of Trees.

Gitesh Dawer, Adrian Barbu|arXiv (Cornell University)|2017. 09. 16.

Neural Networks and Applications참고 문헌 20인용 수 4

한 줄 요약

이 논문은 독립적인 부스팅 스레드를 사용해 병렬로 다수의 다양성 있는 트리를 먼저 성장시킨 후, 작은 부분집합을 선택하고 이들의 리프 가중치를 손실 최적화를 통해 보정함으로써 컴act하고 해석 가능한 트리 앙상블을 구축하는 새로운 방법을 제안한다. 기존의 부스팅 방법과 비교해 학습 손실과 테스트 분류 오류를 감소시키면서도, 제어된 트리 깊이 변화를 통해 모델의 해석 가능성을 유지한다.

ABSTRACT

Tree ensembles are flexible predictive models that can capture relevant variables and to some extent their interactions in a compact and interpretable manner. Most algorithms for obtaining tree ensembles are based on versions of boosting or Random Forest. Previous work showed that boosting algorithms exhibit a cyclic behavior of selecting the same tree again and again due to the way the loss is optimized. At the same time, Random Forest is not based on loss optimization and obtains a more complex and less interpretable model. In this paper we present a novel method for obtaining compact tree ensembles by growing a large pool of trees in parallel with many independent boosting threads and then selecting a small subset and updating their leaf weights by loss optimization. We allow for the trees in the initial pool to have different depths which further helps with generalization. Experiments on real datasets show that the obtained model has usually a smaller loss than boosting, which is also reflected in a lower misclassification error on the test set.

연구 동기 및 목표

• 손실 최적화 동역학으로 인해 기존의 부스팅 알고리즘에서 반복적으로 동일한 트리가 재선택되는 문제를 해결하기 위해.
• 초기 트리 풀에서 깊이를 다양하게 허용하여 일반화 성능을 향상시키기 위해.
• 트리 앙상블의 해석 가능성과 손실 기반 최적화의 성능 향상 효과를 결합하기 위해.
• 기존의 부스팅 및 랜덤 포레스트와 비교해 모델 복잡도를 줄이면서도 예측 정확도를 유지하거나 향상시키기 위해.

제안 방법

• 다수의 독립적인 부스팅 스레드를 사용해 병렬로 다수의 결정 트리를 성장시킨다.
• 초기 트리 풀 내의 트리들이 깊이를 다양하게 가지도록 허용하여 일반화 및 다양성을 향상시킨다.
• 모델 전반에 기여도가 높은 트리들 기반으로 풀에서 가장 관련성이 높은 소수의 트리를 선택한다.
• 손실 함수를 사용해 선택된 트리의 리프 가중치를 최적화하여 예측 성능을 향상시킨다.
• 부스팅의 손실 최적화 기법과 넓은 초기 트리 풀의 다양성을 결합한 하이브리드 접근법을 사용한다.

실험 결과

연구 질문

• RQ1 다양한 트리 깊이를 가진 병렬 부스팅 프레임워크가 기존 부스팅에서 관찰되는 순환적 행동을 줄일 수 있는가?
• RQ2 큰 트리 풀에서 트리의 부분집합을 선택하고 그 리프 가중치를 보정하는 것이 전체 부스팅보다 더 나은 일반화 성능을 낼 수 있는가?
• RQ3 결과적으로 도출된 모델은 랜덤 포레스트보다 더 낮은 테스트 오차를 기록하면서도 더 해석 가능성이 높은가?
• RQ4 초기 트리 풀에서 트리 깊이를 다양하게 조절하면 모델 성능과 안정성에 어떤 영향을 미치는가?

주요 결과

• 제안된 방법은 기존의 표준 부스팅 알고리즘보다 낮은 학습 손실을 달성한다.
• 모델은 표준 부스팅보다 테스트 세트에서 더 낮은 분류 오류를 보이며, 일반화 성능 향상을 시사한다.
• 초기 풀 내에서 다양한 트리 깊이의 활용이 더 나은 모델 성능과 강건성에 기여한다.
• 최종 앙상블는 랜덤 포레스트보다 더 컴팩트하고 해석 가능하면서도 예측 정확도를 유지하거나 향상시킨다.