[論文レビュー] The Convergence Rate of Majority Vote under Exchangeability

Miles E. Lopes|arXiv (Cornell University)|Mar 4, 2013

Bayesian Methods and Mixture Models参考文献 46被引用数 4

ひとこと要約

本稿は交換可能性の下で二値分類におけるメジャー数投票の収束速度を確立し、誤差率が err* + c/t + o(1/t) の形でその極限値に収束することを示している。ここで c はモデルの性質から導かれる定数である。さらに、交換可能なベルヌーイ系列へと一般化し、混合分布 F が滑らかである場合、期待されるメジャー数投票が 1−𝔼[M_t] = F(1/2) + (F(1/2)/8)(1/t) + o(1/t) の形で収束することを証明した。

ABSTRACT

Majority vote plays a fundamental role in many applications of statistics, such as ensemble classifiers, crowdsourcing, and elections. When using majority vote as a prediction rule, it is of basic interest to ask How many votes are needed to obtain a reliable prediction? In the context of binary classification with Random Forests or Bagging, we give a precise answer: If err_t denotes the test error achieved by the majority vote of t \geq 1 classifiers, and err* denotes its nominal limiting value, then under basic regularity conditions, err_t = err* + c/t + o(1/t), where c is a constant given by a simple formula. More generally, we show that if V_1,V_2,... is an exchangeable Bernoulli sequence with mixture distribution F, and the majority vote is written as M_t=median(V_1,...,V_t), then 1-\E[M_t] = F(1/2)+ (F(1/2)/8)(1/t)+o(1/t) when F is sufficiently smooth.

研究の動機と目的

• 二値分類における信頼できるメジャー数投票予測を達成するために、何体の分類器が必要かを特定すること。
• 交換可能性の下で、メジャー数投票誤差がその極限値に近づく収束速度を分析すること。
• 独立同分布の設定を超えて、混合分布を持つ交換可能なベルヌーイ系列への収束行動を一般化すること。
• 分類器の数 t の関数として、期待されるメジャー数投票性能の明示的漸近展開を導出すること。
• 収束速度が正確に 1/t である条件と、計算可能な定数が得られる条件を確立すること。

提案手法

• 分析は、交換可能なベルヌーイ確率変数 V_1, V_2, ..., V_t の中央値としてメジャー数投票をモデル化する。
• 系列が共通の混合分布 F に対して交換可能であると仮定し、分類器間の依存性を許容する。
• 期待中央値の2次近似を用いて、t が増加する際の 𝔼[M_t] の漸近的挙動を導出する。
• 重要な式は、F に対して滑らかさの条件が満たされる下で導かれる 1−𝔼[M_t] = F(1/2) + (F(1/2)/8)(1/t) + o(1/t) である。
• この手法は、漸近展開が可能となるよう、混合分布 F が十分に滑らかであることを保証する正則性条件に依存する。
• 誤差展開における定数 c は、F 及びその微分の関数として明示的に表現される。

実験結果

リサーチクエスチョン

• RQ1 分類器の数が増加するにつれて、メジャー数投票分類器のテスト誤差がその極限値にどれほど速く収束するか。
• RQ2 交換可能な分類器に対して、期待されるメジャー数投票性能の正確な漸近展開は何か。
• RQ3 収束速度が分類器出力の背後にある混合分布 F にどのように依存するか。
• RQ4 誤差が 1/t の割合で減少し、計算可能な定数を伴う条件は何か。
• RQ5 i.i.d. 分類器を超えて、交換可能な系列へと収束速度を一般化できるか。

主な発見

• メジャー数投票のテスト誤差は、err_t = err* + c/t + o(1/t) の形で、その極限値に収束する。ここで c はモデル構造に依存する定数である。
• 滑らかな混合分布 F を持つ交換可能なベルヌーイ系列に対して、期待されるメジャー数投票は 1−𝔼[M_t] = F(1/2) + (F(1/2)/8)(1/t) + o(1/t) を満たす。
• 収束速度は正確に 1/t であり、2次項は明示的に (F(1/2)/8)(1/t) として与えられる。
• 特に混合分布 F の滑らかさを含む基本的な正則性条件の下で、この結果は成り立つ。
• 誤差展開における定数 c は閉形式で導出可能であり、収束挙動の正確な予測が可能になる。
• これらの結果は、分類器出力が交換可能なランダムフォレストやバギングなどのアンサンブル手法に直接適用可能である。