[論文レビュー] A theory of multiclass boosting

Indraneel Mukherjee, Robert E. Schapire|arXiv (Cornell University)|Aug 15, 2011

Imbalanced Data Classification Techniques参考文献 30被引用数 26

ひとこと要約

本稿は、多クラスブースティングにおける一貫した理論的枠組みを確立し、ブースタビリティに必要なかつ十分な弱学習条件の族を特定する。AdaBoost.MRの条件が正確に必要かつ十分であることを示し、他のアルゴリズム（例：AdaBoost.MH や SAMME）が過剰に強いまたは弱すぎる条件に依存していることを明らかにした。さらに、これらの条件下で訓練誤差を効率的に最小化する最適なブースティングアルゴリズムを提案する。

ABSTRACT

Boosting combines weak classifiers to form highly accurate predictors. Although the case of binary classification is well understood, in the multiclass setting, the "correct" requirements on the weak classifier, or the notion of the most efficient boosting algorithms are missing. In this paper, we create a broad and general framework, within which we make precise and identify the optimal requirements on the weak-classifier, as well as design the most effective, in a certain sense, boosting algorithms that assume such requirements.

研究の動機と目的

• ブースティングアルゴリズムと弱学習者との相互作用を形式化する、多クラスブースティングの一般的な理論的枠組みを確立すること。
• 多クラス問題における、あまりに弱くも強くもない正確な最適な弱学習条件を特定すること。
• AdaBoost.MH や SAMME、AdaBoost.MR などの既存の多クラスブースティングアルゴリズムの理論的限界を同定すること。
• 特定された最適な条件下で訓練誤差を最も効率的に最小化するブースティングアルゴリズムを設計すること。
• 多クラス設定においてブースタビリティに必要なかつ十分な、弱学習条件の組み合わせが、正確に必要かつ十分であることを示すこと。

提案手法

• 多クラスブースティングとドリフトゲームの枠組みとの間の変換を導入し、二値に類似たゲーム理論的原則を用いて多クラス問題を分析可能にする。
• 多クラス設定に適した一般化された誤差測度を用いて、ランダム推測よりわずかに優れた性能を要件とする、弱学習条件の族を定義する。
• 多クラススコア関数を二値に類似た関数に変換する手法を用い、既知の二値ブースティング結果を多クラスケースに適用可能にする。
• ドリフトゲーム理論を適用して訓練リスクの上限を導出し、提案アルゴリズムが近似的に最適な収束速度を達成することを示す。
• AdaBoost.MR の弱学習条件が、ブースタビリティに対して正確に必要かつ十分であることを証明する。一方、他の条件は過剰に強いまたは弱すぎる。
• 多クラスアルゴリズムの経験的リスクと変換された二値アルゴリズムのリスクが等価であることを確立し、理論的保証の直接的転送を可能にする。

実験結果

リサーチクエスチョン

• RQ1 多クラスブースティングにおける必要かつ十分な弱学習条件は何か？
• RQ2 AdaBoost.MH や SAMME、AdaBoost.MR などの既存の多クラスブースティングアルゴリズムは、それらの背後にある弱学習仮定においてどのように異なるか？
• RQ3 多クラスブースティングアルゴリズムを分析・比較するための一貫した理論的枠組みを開発できるか？
• RQ4 訓練誤差を最も効率的に最小化する最適なブースティングアルゴリズムは存在するか？
• RQ5 多クラスブースティング問題を二値に類似た問題に変換することで、既存の理論的結果を活用できるか？

主な発見

• 本稿で提案する弱学習条件の族は、多クラスブースタビリティにおいて正確に必要かつ十分であり、各条件はランダム推測よりわずかに優れた性能を要件としている。
• AdaBoost.MR の弱学習条件は、ブースタビリティに対して正確に必要かつ十分であり、既存のアルゴリズムの中で理論的に最適である。
• AdaBoost.MH が用いる弱学習条件は、必要以上に強く、弱学習者に不必要な要求を課している。
• SAMME が暗黙的に仮定している条件は、ブースタビリティを保証するにはあまりに弱く、その条件を満たしても訓練誤差を低下させられることを保証しない。
• 提案された枠組みにより、訓練リスクのタイトな上限が導出可能であり、最適なアルゴリズムが $\widetilde{\widehat{\rm risk}}(\widetilde{F}_{\widetilde{\alpha}}) \leq \inf \widetilde{\widehat{\rm risk}}(\widetilde{F}_{\widetilde{\beta}}) + C/T$ の形のリスクバインドを達成することを示した。
• 二値ブースティングの理論的保証（例：高確率で最適リスクに収束）が変換により多クラス設定に転送され、$\Pr[\text{risk}_D(\bar{\widetilde{F}}) \leq \inf \text{risk}_D(\widetilde{F}^\prime) + O(m^{-c})] \geq 1 - 1/m^2$ を証明した。