[論文レビュー] A Direct Approach to Multi-class Boosting and Extensions

Chunhua Shen, Sakrapee Paisitkriangkrai+1 more|arXiv (Cornell University)|Oct 17, 2012

Domain Adaptation and Few-Shot Learning参考文献 19被引用数 3

ひとこと要約

本稿では、二値問題に分解せずに多クラス分類性能を最適化する直接的かつ完全補正可能な多クラスブースティングフレームワークを提案する。ラグランジュ双対性とカラム生成を活用することで、すべての弱学習器の重みを同時に更新可能であり、混合ノルム正則化によってグループスパarsityを実現し、シーン認識および交通標識認識ベンチマークでより少ない特徴量で最先端の精度を達成する。

ABSTRACT

Boosting methods combine a set of moderately accurate weaklearners to form a highly accurate predictor. Despite the practical importance of multi-class boosting, it has received far less attention than its binary counterpart. In this work, we propose a fully-corrective multi-class boosting formulation which directly solves the multi-class problem without dividing it into multiple binary classification problems. In contrast, most previous multi-class boosting algorithms decompose a multi-boost problem into multiple binary boosting problems. By explicitly deriving the Lagrange dual of the primal optimization problem, we are able to construct a column generation-based fully-corrective approach to boosting which directly optimizes multi-class classification performance. The new approach not only updates all weak learners' coefficients at every iteration, but does so in a manner flexible enough to accommodate various loss functions and regularizations. For example, it enables us to introduce structural sparsity through mixed-norm regularization to promote group sparsity and feature sharing. Boosting with shared features is particularly beneficial in complex prediction problems where features can be expensive to compute. Our experiments on various data sets demonstrate that our direct multi-class boosting generalizes as well as, or better than, a range of competing multi-class boosting methods. The end result is a highly effective and compact ensemble classifier which can be trained in a distributed fashion.

研究の動機と目的

• 二値ブースティングに比べて効果的な多クラスブースティング手法の不足に対処する。
• 多クラス問題を複数の二値問題に分解しない直接的定式化を構築する。
• すべての弱学習器係数を同時に更新する完全補正最適化を可能にする。
• 混合ノルム正則化を導入することで、複数のクラス間での特徴共有を促進する構造的スパarsityを実現する。
• スケーラブルで分散最適化フレンドリーなブースティングフレームワークを設計し、複雑な予測タスクに対応する。

提案手法

• マージンに基づく損失関数を用いた、プライマル凸最適化問題としての多クラスブースティングの定式化。
• プライマル問題のラグランジュ双対を導出し、カラム生成を用いた効率的最適化を可能にする。
• カラム生成を用いて反復的に弱学習器を追加し、完全補正の方法ですべての係数を同時に更新する。
• 任意の混合ノルム正則化（例：ℓ1,2）を一般化し、グループスパarsityと特徴共有を可能にする。
• 構造的スパarsityを統合し、複数のクラスに共通する情報特徴を特定する。
• ADMMおよび凸最適化フレームワークと互換性を持つようにアルゴリズムを設計することで、分散学習を可能にする。

実験結果

リサーチクエスチョン

• RQ1 二値分解を経由せずに、完全補正可能な多クラスブースティング手法を直接定式化できるか？
• RQ2 ラグランジュ双対性は、多クラスブースティングにおける効率的かつスケーラブルな最適化をどのように可能にするか？
• RQ3 混合ノルム正則化は、多クラス設定において効果的にグループスパarsityと特徴共有を促進できるか？
• RQ4 提案手法は、既存の多クラスブースティングアルゴリズムと比較して、より優れた汎化性能とコンパクト性を達成できるか？
• RQ5 大規模学習タスクにおいて、本手法は効率的に並列化または分散処理可能か？

主な発見

• Scene 15データセットにおいて、MultiBoost^groupおよびMultiBoost^group_fastは、1,000個の特徴量のみを用いて、それぞれ77.8%および79.2%の精度を達成し、他の競合する多クラスブースティング手法を上回った。
• ドイツの交通標識認識データセットでは、MultiBoost^groupが500個の特徴量を用いて95.62%の精度を達成し、6,308個の特徴量を用いた線形SVM（93.05%）を上回った。
• 非線形SVM（81.47%）と比較して、同等またはより高い精度を達成しながら、顕著に少ない特徴量を用いた。
• MultiBoost^groupは、MultiBoost^ℓ1よりも速い収束速度を示し、最適化効率の向上を示している。
• MultiBoost^ℓ1では過学習が観察されたが、これによりMultiBoost^groupにおけるグループスパarsity正則化が汎化性能の向上に寄与していることが示唆された。
• 本手法により、交通標識における共通する形状など、クラス間での特徴共有が可能となり、よりコンパクトで効果的なモデルが得られた。