[논문 리뷰] Banzhaf Random Forests

Jianyuan Sun, Guoqiang Zhong외 2명|arXiv (Cornell University)|2015. 07. 22.

Data Mining Algorithms and Applications참고 문헌 34인용 수 3

한 줄 요약

이 논문은 협력 게임 이론에서 유래한 Banzhaf 지배 지수를 사용하여 연관된 특성 간의 의존성을 기반으로 특성 중요도를 평가하는 새로운 랜덤 포레스트 알고리즘인 Banzhaf Random Forests(BRF)를 제안한다. 이는 이론적 일관성을 보장한다. 실험 결과 BRF는 최신 기준 분류기들을 능가하며, 이전의 일관된 랜덤 포레스트보다도 훨씬 더 효율적임을 보여준다.

ABSTRACT

Random forests are a type of ensemble method which makes predictions by combining the results of several independent trees. However, the theory of random forests has long been outpaced by their application. In this paper, we propose a novel random forests algorithm based on cooperative game theory. Banzhaf power index is employed to evaluate the power of each feature by traversing possible feature coalitions. Unlike the previously used information gain rate of information theory, which simply chooses the most informative feature, the Banzhaf power index can be considered as a metric of the importance of each feature on the dependency among a group of features. More importantly, we have proved the consistency of the proposed algorithm, named Banzhaf random forests (BRF). This theoretical analysis takes a step towards narrowing the gap between the theory and practice of random forests for classification problems. Experiments on several UCI benchmark data sets show that BRF is competitive with state-of-the-art classifiers and dramatically outperforms previous consistent random forests. Particularly, it is much more efficient than previous consistent random forests.

연구 동기 및 목표

• 랜덤 포레스트의 이론적 이해와 실용적 적용 사이의 오랜 격차를 해소한다.
• 이전의 이론적 모델이 달성하지 못한 배치 다중 분류를 위한 일관된 랜덤 포레스트 모델을 개발한다.
• 특성 간 상호의존성을 포괄하는 협력 게임 이론 기반의 새로운 특성 중요도 측정 기준을 도입한다.
• 기존 일관된 랜덤 포레스트보다 계산 효율성을 향상시키면서도 예측 성능을 유지하거나 향상시킨다.

제안 방법

• 모든 가능한 특성 조합(연합)에 대해 각 특성의 기여도를 평가하기 위해 Banzhaf 지배 지수를 적용한다.
• 전통적인 정보 이득 대신 Banzhaf 지수를 사용하여 트리 구축 시 특성의 집단적 의존성을 기반으로 특성 우선순위를 정한다.
• Banzhaf 지배 지수를 사용해 분할 선택을 유도하는 결정 트리를 구성함으로써, 더 견고하고 이론적으로 탄탄한 특성 선택 과정을 보장한다.
• 표본 추출 및 랜덤 특성 선택을 통해 표준 랜덤 포레스트 방식과 동일하게 다양성을 유지한다.
• 표준 가정 하에 BRF의 일관성을 증명하여, 데이터셋 크기가 증가함에 따라 최적의 베이즈 분류기로 수렴함을 보여준다.
• 노드당 오분류율 기반의 종료 조건을 도입하여 안정적인 트리 성장을 보장한다.

실험 결과

연구 질문

• RQ1 협력 게임 이론이 랜덤 포레스트에 효과적으로 적용되어 이론적 일관성을 향상시킬 수 있는가?
• RQ2 Banzhaf 지배 지수를 특성 선택에 사용할 경우, 기존 정보 이득 기반 방법보다 더 뛰어난 분류 성능을 달성할 수 있는가?
• RQ3 제안된 BRF 모델은 최신 기준 랜덤 포레스트 및 일관된 모델과 비교해 정확도와 효율성 면에서 어떻게 다른가?
• RQ4 Banzhaf 기반 특성 중요도 메커니즘은 독립적인 특성 선택보다 특성 간 의존성을 더 효과적으로 포착하는가?

주요 결과

• BRF는 여러 UCI 데이터셋에서 KNN, SVM 및 Breiman의 원래 랜덤 포레스트와 경쟁 가능한 분류 정확도를 달성한다.
• Soil dataset에서 BRF는 100% 정확도를 기록하며 최고 성능을 보인 모델과 동일한 성능을 보였다.
• Shuttle 데이터셋에서 BRF는 99.57%의 정확도를 기록했으며, Breiman의 모델과 동일한 성능을 보였고, Biau의 일관된 모델(82.56%)을 능가했다.
• BRF는 Biau의 일관된 랜덤 포레스트 모델을 크게 능가했으며, ecoli 데이터셋에서 단지 42.86%의 정확도를 기록한 Biau의 모델보다 뛰어난 성능을 보였다.
• BRF는 Biau의 일관된 모델보다 훨씬 더 효율적이었으며, shuttle 데이터셋에서 훈련 시간이 80.66초로 Biau의 39,600.63초보다 훨씬 빠르게 기록되었다.
• 모델은 트리 수에 대해 강건했으며, 100개의 트리에서 최적의 성능을 보였고, 다양한 트리 수에서도 높은 정확도를 유지했다.