[논문 리뷰] A Sharp Bound on the Computation-Accuracy Tradeoff for Majority Voting Ensembles

Miles E. Lopes|arXiv (Cornell University)|2013. 03. 04.

Machine Learning and Algorithms인용 수 4

한 줄 요약

이 논문은 이진 분류에서 다수결 투표 앙상블의 알고리즘적 분산에 대해 날카운 비점근적 경계를 확립하며, $l \in \{0,1\}$에 대해 $\frac{f_l(1/2)^2}{4t} + o(\frac{1}{t})$의 속도로 클래스별 오차 분산이 감소함을 보여줍니다. 여기서 $f_l$는 앙상블 방법으로 유도된 밀도 함수입니다. 이 경계는 단일 앙상블을 사용한 분산 추정을 가능하게 하며, 저자들은 $t$가 크기만 하면 비모수적 평균제곱오차율에 도달하는 최적의 추정기 $f_l(1/2)$를 제안합니다.

ABSTRACT

When random forests are used for binary classification, an ensemble of $t=1,2,\dots$ randomized classifiers is generated, and the predictions of the classifiers are aggregated by majority vote. Due to the randomness in the algorithm, there is a natural tradeoff between statistical performance and computational cost. On one hand, as $t$ increases, the (random) prediction error of the ensemble tends to decrease and stabilize. On the other hand, larger ensembles require greater computational cost for training and making new predictions. The present work offers a new approach for quantifying this tradeoff: Given a fixed training set $\mathcal{D}$, let the random variables $ ext{Err}_{t,0}$ and $ ext{Err}_{t,1}$ denote the class-wise prediction error of a randomly generated ensemble of size $t$. As $t o\infty$, we provide a general bound on the algorithmic variance, $ ext{var}( ext{Err}_{t,l}|\mathcal{D})\leq \frac{f_l(1/2)^2}{4t}+o(\frac{1}{t})$, where $l\in\{0,1\}$, and $f_l$ is a density function that arises from the ensemble method. Conceptually, this result is somewhat surprising, because $ ext{var}( ext{Err}_{t,l}|\mathcal{D})$ describes how $ ext{Err}_{t,l}$ varies over repeated runs of the algorithm, and yet, the formula leads to a method for bounding $ ext{var}( ext{Err}_{t,l}|\mathcal{D})$ with a single ensemble. The bound is also sharp in the sense that it is attained by an explicit family of randomized classifiers. With regard to the task of estimating $f_l(1/2)$, the presence of the ensemble leads to a unique twist on the classical setup of non-parametric density estimation --- wherein the effects of sample size and computational cost are intertwined. In particular, we propose an estimator for $f_l(1/2)$, and derive an upper bound on its MSE that matches standard optimal non-parametric rates when $t$ is sufficiently large.

연구 동기 및 목표

• 이진 분류를 위한 다수결 투표 앙상블에서 계산 비용과 통계적 정확도 간의 상호보완적 관계를 정량화하기 위해.
• 앙상블 크기 $t$에 대한 클래스별 예측 오차 알고리즘적 분산에 대한 점근적이지 않은 날카운 상한 경계를 유도하기 위해.
• 알고리즘 내부의 본질적 랜덤성에도 불구하고, 단일 앙상블만을 사용하여 $f_l(1/2)$라는 핵심 밀도 파rameter를 추정하는 방법을 개발하기 위해.
• 제안된 $f_l(1/2)$ 추정기가 $t$가 충분히 클 경우 최적의 비모수적 평균제곱오차율을 달성함을 보여주기 위해.
• 유도된 분산 경계가 날카롭고, 명시적인 랜덤화 분류기의 가족에 의해 도달됨을 입증하기 위해.

제안 방법

• 클래스 $l \in \{0,1\}$에 대해 조건부 분산 $\text{var}(\text{Err}_{t,l}|\mathcal{D})$에 대한 일반적인 상한을 유도하며, 이가 $\frac{f_l(1/2)^2}{4t} + o(\frac{1}{t})$의 속도로 감소함을 보임.
• 단일 앙상블 내 개별 분류기 예측의 경험분포를 기반으로 한 새로운 $f_l(1/2)$ 추정기 도입.
• 제안된 추정기의 평균제곱오차(MSE)를 분석하고, $t$가 크기만 하면 정규성 조건 하에서 최적의 비모수적 속도를 만족함을 보임.
• 특정 랜덤화 분류기의 가족을 구성하여 경계가 도달됨을 입증함으로써 분산 경계가 날카로움을 입증함.
• 앙상블의 내부 구조를 활용하여 임계점 $1/2$에서 밀도 $f_l$를 추정함으로써 표본 크기와 계산 비용을 효과적으로 분리함.
• 다수결 투표의 측도 집중 현상을 활용하여, 단일 학습 실행만으로도 유한 표본에 대한 오차 분산 보장을 도출함.

실험 결과

연구 질문

• RQ1 앙상블 크기 $t$가 증가함에 따라 다수결 투표 앙상블의 알고리즘적 분산은 어떻게 감소하는가?
• RQ2 반복적인 샘플링 없이도, 단일 앙상블을 사용하여 분산 감소 속도를 결정짓는 밀도 $f_l(1/2)$를 추정할 수 있는가?
• RQ3 앙상블 계산의 제약 조건 하에서 $f_l(1/2)$를 추정할 때 달성 가능한 최적의 평균제곱오차율은 무엇인가?
• RQ4 유도된 분산 경계는 날카로운가? 만약 그렇다면, 어떤 유형의 랜덤화 분류기 가족에서 도달되는가?
• RQ5 표본 크기와 계산 비용 간의 상호의존성이 이 앙상블 맥락에서 비모수적 밀도 추정에 어떻게 영향을 미치는가?

주요 결과

• 다수결 투표 앙상블의 클래스별 오차 알고리즘적 분산은 $\frac{f_l(1/2)^2}{4t} + o(\frac{1}{t})$ 이하로 상한이 제시되며, 이는 정밀한 유한표본 특성화를 제공한다.
• 이 경계는 명시적인 랜덤화 분류기의 가족에 의해 도달되므로 날카로움이 입증된다.
• 단일 앙상블만으로도 $f_l(1/2)$를 추정할 수 있으며, 이는 알고리즘의 반복 실행 없이도 분산 추정이 가능함을 의미한다.
• 제안된 $f_l(1/2)$ 추정기는 $t$가 충분히 클 경우 최적의 비모수적 평균제곱오차율을 달성한다.
• 분산 경계는 정확한 계산-정확도 상호보완적 관계를 드러내며, 오차 분산이 $f_l(1/2)$에 의해 결정되는 속도로 감소함을 보여준다.
• 이 방법은 이 앙상블 프레임워크 내에서 비모수적 밀도 추정에서 표본 크기와 계산 비용 간의 상호작용을 유일하게 해결한다.