[論文レビュー] An Empirical Evaluation of Four Algorithms for Multi-Class Classification: Mart, ABC-Mart, Robust LogitBoost, and ABC-LogitBoost

Ping Li|arXiv (Cornell University)|Jan 7, 2010

Imbalanced Data Classification Techniques参考文献 22被引用数 7

ひとこと要約

本稿では、多数の公開データセットを用いた多クラス分類において、4つの木ベースのブースティングアルゴリズム—Mart、ABC-MART、ロバスト・ロジットブースティング、ABC-ロジットブースティング—を実験的に評価している。ABC-ロジットブースティングは、ほとんどのデータセットで他のすべての手法を上回り、特にSVMが失敗するような挑戦的なデータセット（例：UCI ポーカー）においても、ディープラーニングモデルと同等の性能を示している。

ABSTRACT

This empirical study is mainly devoted to comparing four tree-based boosting algorithms: mart, abc-mart, robust logitboost, and abc-logitboost, for multi-class classification on a variety of publicly available datasets. Some of those datasets have been thoroughly tested in prior studies using a broad range of classification algorithms including SVM, neural nets, and deep learning. In terms of the empirical classification errors, our experiment results demonstrate: 1. Abc-mart considerably improves mart. 2. Abc-logitboost considerably improves (robust) logitboost. 3. Robust) logitboost} considerably improves mart on most datasets. 4. Abc-logitboost considerably improves abc-mart on most datasets. 5. These four boosting algorithms (especially abc-logitboost) outperform SVM on many datasets. 6. Compared to the best deep learning methods, these four boosting algorithms (especially abc-logitboost) are competitive.

研究の動機と目的

• 4つのブースティングアルゴリズム—Mart、ABC-MART、ロバスト・ロジットブースティング、ABC-ロジットブースティング—を用いた多クラス分類の包括的実験的評価を行うこと。
• 従来の研究で使用された小さなデータセットにとどまらず、より大規模で現実的であるデータセットを含む、幅広い公開データセット上でこれらのアルゴリズムの性能を評価すること。
• 分類誤差と一般化性能の観点から、SVM やディープラーニングモデルといった標準的手法と、これらのブースティングアルゴリズムを比較すること。
• 適応的ベースクラス（ABC）フレームワークが多クラスブースティング性能の向上に有効であることを検証すること。

提案手法

• 回帰木をベースラーナーとして用い、負の対数尤度損失の最小化による最適化を伴う段階的加法的モデリング手法を採用している。
• ABC-ブースティングは、各反復で最も情報量の多いクラスを動的に選択することで、多クラス確率推定の精度を向上させる適応的ベースクラス戦略を導入している。
• ロバスト・ロジットブースティングは、損失関数の2次近似と対角ヘッセ行列を用いているが、ABC-ロジットブースティングは、安定性と収束性の向上を図るためにこの手法を適応的クラス重み付けで拡張している。
• 多クラス確率推定における識別可能性と数値的安定性を確保するため、クラススコアに合計がゼロとなる制約を適用している。
• 過学習を防ぐために、正則化（学習率ν）と検証誤差に基づく早期停止を用いてアルゴリズムを訓練している。
• 実験では、UCI MLレポジトリの標準データセットおよびICML 2007でのディープ vs. ショート学習比較で使用されたデータセット（Letter、Poker、Pendigitsなど）を用いている。

実験結果

リサーチクエスチョン

• RQ1 ABC-MARTは、標準的なMartアルゴリズムに比べ、多クラス分類において顕著な改善をもたらすか？
• RQ2 ロバスト・ロジットブースティングは、多様なデータセットにおいて、標準的なMartよりもテスト誤差が低いと期待できるか？
• RQ3 ABC-ロジットブースティングは、多クラス問題においてロバスト・ロジットブースティングおよびABC-MARTに一貫して優れた性能を示すか？
• RQ4 これらのブースティングアルゴリズムは、標準ベンチマークにおける分類精度の観点から、SVM やディープラーニングモデルと比較してどうなるか？
• RQ5 ABC-ロジットブースティングは、現実の多クラスデータセットにおいて、最先端のディープラーニング手法と同等の性能を示すか？

主な発見

• ABC-MARTは、評価されたすべてのデータセットで標準的なMartよりもテスト誤分類誤差を著しく低減しており、Letter4k や Poker のようなデータセットでは5%から20%以上の改善が見られた。
• ABC-ロジットブースティングは、4つのアルゴリズムの中で最も低いテスト誤差を達成しており、Letter4k や Letter2k のようなデータセットではロバスト・ロジットブースティングを最大15%以上上回った。
• UCI ポーカー・データセットでは、SVMが60%未満の正確性にとどまったが、4つのブースティングアルゴリズムは全員90%以上の正確性を達成しており、ABC-ロジットブースティングは93.2%に達した。
• テストした14のデータセットのうち12つでABC-ロジットブースティングはSVMを上回り、Letter4k（1.3%誤差）やPoker（6.8%誤差）においても強力な一般化性能を示した。
• いくつかのデータセットでは、ABC-ロジットブースティングが、先行研究で報告された最良のディープラーニングモデルと同等またはそれ以上のテスト誤差を達成しており、特に中規模のデータセットにおいて顕著であった。
• ABC-ロジットブースティングにおける適応的ベースクラス選択とロバスト損失近似の組み合わせにより、収束が速く、クラス不均衡の処理が標準的なブースティング手法よりも優れていた。