[논문 리뷰] Explaining the Success of AdaBoost and Random Forests as Interpolating Classifiers

Abraham J. Wyner, Matthew Olson외 2명|arXiv (Cornell University)|2015. 04. 28.

Machine Learning and Data Classification참고 문헌 18인용 수 59

한 줄 요약

이 논문은 AdaBoost와 Random Forests가 정규화나 조기 정지 없이도 일반화 성능이 뛰어나다는 점을, 오히려 그들이 훈련 데이터를 완벽하게 내삽할 수 있는 능력과 스스로 평균화하는 메커니즘 덕분이라고 제안한다. 깊은 트리가 局소적 피팅을 생성하고 앙상블 평균화를 통해 부드럽게 만드는 방식으로, 두 알고리즘을 모두 내삽하고 스스로 평균화하는 분류기로 재정의함으로써, 기존의 내삽은 과적합을 유도한다는 통념을 도전하며, 정규화나 조기 정지를 필요로 하지 않는다는 점을 보여준다.

ABSTRACT

There is a large literature explaining why AdaBoost is a successful classifier. The literature on AdaBoost focuses on classifier margins and boosting's interpretation as the optimization of an exponential likelihood function. These existing explanations, however, have been pointed out to be incomplete. A random forest is another popular ensemble method for which there is substantially less explanation in the literature. We introduce a novel perspective on AdaBoost and random forests that proposes that the two algorithms work for similar reasons. While both classifiers achieve similar predictive accuracy, random forests cannot be conceived as a direct optimization procedure. Rather, random forests is a self-averaging, interpolating algorithm which creates what we denote as a "spikey-smooth" classifier, and we view AdaBoost in the same light. We conjecture that both AdaBoost and random forests succeed because of this mechanism. We provide a number of examples and some theoretical justification to support this explanation. In the process, we question the conventional wisdom that suggests that boosting algorithms for classification require regularization or early stopping and should be limited to low complexity classes of learners, such as decision stumps. We conclude that boosting should be used like random forests: with large decision trees and without direct regularization or early stopping.

연구 동기 및 목표

• 분류 모델에서 내삽은 과적합을 유도한다는 통계적 통념을 도전하기 위해.
• AdaBoost와 Random Forests의 성공을 공통적으로 가지는 특성인 내삽하고 스스로 평균화하는 분류기라는 점에서 통합된 설명을 제안하기 위해.
• AdaBoost에서 정규화나 조기 정지를 사용하는 오랜 관행을 의심하며, 깊은 트리가 사용될 경우 이러한 조치가 불필요하다고 주장하기 위해.
• 실증적으로 AdaBoost와 Random Forests가 레이블 노이즈에 뛰어나게 강건함을 보여주며, 내삽과 평균화를 통한 내구성을 뒷받침하기 위해.
• AdaBoost를 마진 최적화나 손실 최소화 알고리즘으로 보는 것이 아니라, 반복적인 국소 피팅을 통해 매끄러운 결정 경계를 달성하는 '숲의 숲'으로 재정의하기 위해.

제안 방법

• 오차 없이 모든 훈련 포인트를 정확히 피팅하는 알고리즘을 '내삽 분류기'로 정의한다.
• AdaBoost를 깊은 결정 트리의 가중치 합성으로 프레임워크화하며, 각 트리가 훈련 데이터를 내삽하고, '숲의 숲'을 형성한다.
• 결정 경계가 여러 트리 간의 스스로 평균화를 통해 부드러워지는 '스피크드 스무딩'(spiked-smooth) 분류기 개념을 도입한다.
• 여러 UCI 데이터셋에 5%의 레이블 노이즈를 적용한 실험을 통해 AdaBoost, Random Forests, 1-NN 간의 일반화 오차 증가를 비교한다.
• 노이즈 조건 하에서 모델 간 오차율 차이의 통계적 유의성을 평가하기 위해 두 표본 t-검정을 적용한다.
• 오차를 줄이기 위해 반복적으로 피팅하는 AdaBoost의 결정 경계 행동을 분석하며, 후속 반복에서 잘못 분류된 점 주변의 국소 피팅을 정교화하지만 과적합이 발생하지 않는다는 점을 보여준다.

실험 결과

연구 질문

• RQ1 AdaBoost와 Random Forests가 훈련 데이터를 완벽하게 내삽함에도 불구하고 일반화 성능이 뛰어나게 되는 이유는 무엇인가?
• RQ2 AdaBoost가 최적화 기반의 기원을 지닌 바에야, Random Forests와 같은 메커니즘으로 성공을 설명할 수 있는가?
• RQ3 자신의 평균화를 통해 내삽이 이루어지는 상황에서 일반화 성능이 향상되며, 이는 고전적 통계 직관과는 정반대인가?
• RQ4 AdaBoost에서 정규화나 조기 정지는 필수적인가, 아니면 깊은 트리와 완전한 반복을 사용해도 되는가?
• RQ5 AdaBoost와 Random Forests가 1-NN보다 레이블 노이즈에 더 강건한가? 이는 일반화 메커니즘에 어떤 시사점을 제공하는가?

주요 결과

• 5%의 훈련 레이블 노이즈가 있을 경우, Haberman 데이터셋에서 AdaBoost의 테스트 오차는 0.13% 증가에 그치고 Random Forest는 0.52% 증가에 그친다.
• breast_cancer 데이터셋에서 AdaBoost 오차는 0.20% 증가했고 Random Forest는 0.39% 증가했으며, 1-NN의 2.29% 증가보다 유의미하게 낮게 나타났다 (p < 0.01).
• voting 데이터셋에서는 AdaBoost 오차가 1.63% 증가했고 Random Forest는 0.30% 증가했으며, 1-NN의 2.71% 증가보다 유의미하게 낮게 나타났다 (p < 0.05).
• Pima 데이터셋에서는 AdaBoost(0.56%)와 Random Forest(0.45%)의 오차 증가가 모두 1-NN의 1.75% 증가보다 유의미하게 낮았으며, p < 0.01로 유의미했다.
• German credit 데이터셋에서는 모델 간 유의미한 차이가 없었지만, AdaBoost와 Random Forest는 여전히 1-NN보다 오차 증가가 적었다.
• 결과적으로 두 알고리즘이 스스로 평균화하고 내삽하는 성질 덕분에 레이블 노이즈에 강건하다는 가설을 지지하며, 마진 최대화나 손실 최소화 때문이 아니라 이들의 성능이 뛰어나다는 점을 확인한다.