[論文レビュー] A Sharp Bound on the Computation-Accuracy Tradeoff for Majority Voting Ensembles

Miles E. Lopes|arXiv (Cornell University)|Mar 4, 2013

Machine Learning and Algorithms被引用数 4

ひとこと要約

本稿は、2値分類におけるメジャー投票アンサンブルのアルゴリズム的分散に対して鋭い非漸近的バウンドを確立し、$l \in \{0,1\}$ に対して $\frac{f_l(1/2)^2}{4t} + o(\frac{1}{t})$ のように、クラスごとの誤差分散が減少することを示している。ここで $f_l$ はアンサンブル手法から導かれる密度関数である。このバウンドにより、1つのアンサンブルを用いた分散推定が可能となり、著者らは $t$ が大きい場合に非パラメトリックな平均二乗誤差率に達する最適な推定器を提案する。

ABSTRACT

When random forests are used for binary classification, an ensemble of $t=1,2,\dots$ randomized classifiers is generated, and the predictions of the classifiers are aggregated by majority vote. Due to the randomness in the algorithm, there is a natural tradeoff between statistical performance and computational cost. On one hand, as $t$ increases, the (random) prediction error of the ensemble tends to decrease and stabilize. On the other hand, larger ensembles require greater computational cost for training and making new predictions. The present work offers a new approach for quantifying this tradeoff: Given a fixed training set $\mathcal{D}$, let the random variables $ ext{Err}_{t,0}$ and $ ext{Err}_{t,1}$ denote the class-wise prediction error of a randomly generated ensemble of size $t$. As $t o\infty$, we provide a general bound on the algorithmic variance, $ ext{var}( ext{Err}_{t,l}|\mathcal{D})\leq \frac{f_l(1/2)^2}{4t}+o(\frac{1}{t})$, where $l\in\{0,1\}$, and $f_l$ is a density function that arises from the ensemble method. Conceptually, this result is somewhat surprising, because $ ext{var}( ext{Err}_{t,l}|\mathcal{D})$ describes how $ ext{Err}_{t,l}$ varies over repeated runs of the algorithm, and yet, the formula leads to a method for bounding $ ext{var}( ext{Err}_{t,l}|\mathcal{D})$ with a single ensemble. The bound is also sharp in the sense that it is attained by an explicit family of randomized classifiers. With regard to the task of estimating $f_l(1/2)$, the presence of the ensemble leads to a unique twist on the classical setup of non-parametric density estimation --- wherein the effects of sample size and computational cost are intertwined. In particular, we propose an estimator for $f_l(1/2)$, and derive an upper bound on its MSE that matches standard optimal non-parametric rates when $t$ is sufficiently large.

研究の動機と目的

• メジャー投票アンサンブルの2値分類における計算コストと統計的精度のトレードオフを定量化すること。
• アンサンブルサイズ $t$ の関数として、クラスごとの予測誤差のアルゴリズム的分散に対する非漸近的で鋭い上界を導出すること。
• アルゴリズムに内在するランダム性にもかかわらず、1つのアンサンブルのみを用いて $f_l(1/2)$ という重要な密度パラメータを推定する手法を開発すること。
• 提案された $f_l(1/2)$ の推定器が、$t$ が十分に大きい場合に最適な非パラメトリックな平均二乗誤差率に達することを示すこと。
• 導出された分散バウンドがタイトであり、明示的な確率的分類器の族によって達成可能であることを確立すること。

提案手法

• クラス $l \in \{0,1\}$ に対する条件付き分散 $\text{var}(\text{Err}_{t,l}|\mathcal{D})$ に対する一般上界を導出し、それが $\frac{f_l(1/2)^2}{4t} + o(\frac{1}{t})$ のように減少することを示す。
• 1つのアンサンブル内での個々の分類器の予測の経験的分布に基づいて、$f_l(1/2)$ のための新しい推定器を導入する。
• 提案された推定器の平均二乗誤差（MSE）を分析し、$t$ が大きい場合に正則性条件の下で最適な非パラメトリックレートに一致することを示す。
• 明示的な確率的分類器の族を構築することで、分散バウンドがタイトであることを実証する。
• アンサンブルの内部構造を活用して、臨界点 $1/2$ における密度 $f_l$ を推定し、標本サイズと計算コストの分離を実現する。
• メジャー投票における測度の集中を活用して、1回の学習実行のみで有限標本の誤差分散の保証を得る。

実験結果

リサーチクエスチョン

• RQ1 アンサンブルサイズ $t$ が増加するにつれて、メジャー投票アンサンブルのアルゴリズム的分散はどのように減少するか？
• RQ2 繰り返しサンプリングなしに、1つのアンサンブルのみを用いて、分散の減少率を支配する $f_l(1/2)$ の密度を推定できるか？
• RQ3 アンサンブル計算の制約下で、$f_l(1/2)$ の推定に達成可能な最適な平均二乗誤差レートは何か？
• RQ4 導出された分散バウンドはタイトか？ もしそうならば、どの確率的分類器の族によって達成されるか？
• RQ5 標本サイズと計算コストの相互依存性は、このアンサンブル枠組み内での非パラメトリック密度推定にどのように影響するか？

主な発見

• メジャー投票アンサンブルのクラスごとの誤差のアルゴリズム的分散は、上界として $\frac{f_l(1/2)^2}{4t} + o(\frac{1}{t})$ を有し、有限標本における鋭い特徴付けを提供する。
• バウンドはタイトであり、明示的な確率的分類器の族によって達成可能であるため、そのタイトさが確認されている。
• 1つのアンサンブルがあれば $f_l(1/2)$ の推定が可能であり、アルゴリズムの繰り返し実行なしに分散推定が可能になる。
• 提案された $f_l(1/2)$ の推定器は、$t$ が十分に大きい場合に最適な非パラメトリックな平均二乗誤差率に達する。
• 分散バウンドは、誤差分散が $f_l(1/2)$ によって決定されるレートで減少するという明確な計算-精度のトレードオフを明らかにする。
• 本手法は、アンサンブルフレームワーク内での非パラメトリック密度推定における標本サイズと計算コストの複雑な関係を、独自に解消する。