[論文レビュー] Online Multiclass Boosting

Young Hun Jung, Jack Goetz+1 more|arXiv (Cornell University)|Feb 23, 2017

Machine Learning and Algorithms参考文献 2被引用数 6

ひとこと要約

本稿では、コスト行列に基づく弱学習条件を定義することにより、理論的裏付けのあるオンライン多値分類ブースティングフレームワークを導入し、最小のサンプル複雑度を達成し、実世界のデータセットで優れた性能を発揮する最適かつ適応的アルゴリズムを可能にした。提案されたアルゴリズムは、既存の手法を上回る精度を達成しながら、理論的ミスバウンドを維持している。

ABSTRACT

Recent work has extended the theoretical analysis of boosting algorithms to multiclass problems and to online settings. However, the multiclass extension is in the batch setting and the online extensions only consider binary classification. We fill this gap in the literature by defining, and justifying, a weak learning condition for online multiclass boosting. This condition leads to an optimal boosting algorithm that requires the minimal number of weak learners to achieve a certain accuracy. Additionally, we propose an adaptive algorithm which is near optimal and enjoys an excellent performance on real data due to its adaptive property.

研究の動機と目的

• オンライン二値ブースティングと多値バッチブースティングの間のギャップを埋めるために、理論的枠組みをオンライン多値設定に拡張すること。
• ブースタビリティを保証し、最小のサンプル複雑度を達成するためのオンライン多値ブースティング用の弱学習条件を定義すること。
• 所定の精度を達成するために必要な最少の弱学習器を要する最適アルゴリズムと、実用的性能に優れる適応的バージョンを開発すること。
• 理論的ミスバウンドと、多様な多値データセットにおける実験的妥当性を提供すること。

提案手法

• コスト行列を用いた弱学習条件を提案し、弱学習器がランダムベースラインに対するエッジを上回ることを要件とする。
• 目標精度に到達するための弱学習器数とサンプル複雑度を最小化する最適ブースティングアルゴリズム（アルゴリズム1）を設計する。
• 学習器の性能に応じて重みを動的に調整する適応的アルゴリズム（アルゴリズム2）を導入し、学習器の強度の可変性と高いロバストネスを実現する。
• 誤分類に対する異なるペナルティを割り当てるコスト行列フレームワークを採用し、正しく予測されたラベルの対角成分を最小化する。
• 各時刻でN個の弱学習器の予測をメジャリティ投票（オプションで重み付けあり）で統合する。
• 予測後に真のラベルを公開することで、弱学習器がオンライン形式で段階的にモデルを更新できるようにする。

実験結果

リサーチクエスチョン

• RQ1 オンライン多値ブースティング用の弱学習条件を、二値ケースに類似した形で形式的に定義可能か？
• RQ2 オンライン多値ブースティングにおいて、所定の精度に到達するために必要な最小の弱学習器数とサンプル複雑度は何か？
• RQ3 適忞性をオンライン多値ブースティングに組み込むことで、理論的保証を損なわずに実用的性能を向上させられるか？
• RQ4 コスト行列フレームワークは、標準的手法と比較して、オンライン多値設定における性能をどのように向上させるか？
• RQ5 オンライン多値ブースティングにおいて、理論的最適性と実用的適応性のトレードオフは何か？

主な発見

• 提案された最適アルゴリズム（MB）は、理論的ミスバウンドが保証するように、所定の精度に到達するために必要な最少の弱学習器数とサンプル複雑度を達成する。
• 適応的アルゴリズム（AdaOLM）は、実世界のデータセットにおいて最適アルゴリズムと同等またはそれ以上の性能を示し、特に学習の後半段階で顕著な優位性を示す。これは、学習器の強度の変動に適応できる能力による。
• ISOLETデータセットでは、AdaOLMは100個の多値木を用いて0.570の精度を達成し、10万個の二値木を用いた場合でも0.472の精度を示した。これはベースライン手法を上回り、優れた適応性を示している。
• コスト行列フレームワークにより、ヴァニラOvAや標準的なオンラインブースティングと比較して、より優れた性能が得られ、特にデータ量が増えるにつれて顕著になる。マッシュルームおよびナラシデータセットでは、ほぼ完全な精度が達成された。
• AdaOLMは、OvAがはるかに多くの弱学習器を用いているにもかかわらず、OvAやOLBを大きく上回る精度を示しており、コスト行列フレームワークの効率性が裏付けられている。
• AdaOLMの総実行時間は単純な手法よりやや長くはなるが、性能の向上を考慮すると競争力があり、データサイズに応じて合理的にスケーリングされる。