[論文レビュー] The return of AdaBoost.MH: multi-class Hamming trees

Balázs Kégl|arXiv (Cornell University)|Dec 20, 2013

Machine Learning and Data Classification参考文献 20被引用数 88

ひとこと要約

本稿では、AdaBoost.MHフレームワーク内における多クラスブースティング手法として、ハミング木（Hamming trees）を提案する。この手法は、多クラス問題をK個の1対他の二値分類に還元することなく、多クラスエッジを最適化するベクトル値の決定木を学習する。ベースラーナーを入力に依存しないラベルベクトルとラベルに依存しないスカラ分類器に因子分解することにより、効率的な木構築が可能となり、ベンチマークデータセットにおいて最先端の性能を達成する。SVM や AOSOLogitBoost と同等またはそれを上回り、他の AdaBoost.MH 実装よりも顕著に優れている。

ABSTRACT

Within the framework of AdaBoost.MH, we propose to train vector-valued decision trees to optimize the multi-class edge without reducing the multi-class problem to $K$ binary one-against-all classifications. The key element of the method is a vector-valued decision stump, factorized into an input-independent vector of length $K$ and label-independent scalar classifier. At inner tree nodes, the label-dependent vector is discarded and the binary classifier can be used for partitioning the input space into two regions. The algorithm retains the conceptual elegance, power, and computational efficiency of binary AdaBoost. In experiments it is on par with support vector machines and with the best existing multi-class boosting algorithm AOSOLogitBoost, and it is significantly better than other known implementations of AdaBoost.MH.

研究の動機と目的

• 既存の AdaBoost.MH 実装が多クラス問題をK個の1対他の二値分類に還元するという制限を克服すること。
• 二値ブースティングの概念的シンプルさと計算効率を保ちつつ、多クラス設定に拡張すること。
• 決定木のような複雑なベースラーナーを AdaBoost.MH で使用可能にするために、因子化されたベクトル値ベースラーナーのアーキテクチャを導入すること。
• ハミング木が、問題固有の変更を要せず、多クラス分類ベンチマークで最先端の性能を達成することを実証すること。

提案手法

• 入力に依存しない長さKのラベルベクトルと、ラベルに依存しないスカラ分類器から構成される因子化されたベクトル値ベースラーナーを導入する。
• 各内部ノードで、ラベル依存性のあるベクトルは破棄され、スカラ分類子のみが入力空間を2つの領域に分割する。これにより、木の構築が可能になる。
• スカラ成分として決定スタンプ（decision stumps）を用いることで、二値分割と出力コードの効率的かつ同時最適化が可能になる。
• AdaBoost.MHフレームワーク内で多クラスエッジを最大化し、K個の独立した1対他の分類器を必要としない。
• 多値ラベルやマルチタスク学習に対しても柔軟性を有するため、多変量出力を扱える。
• 再現性を確保するため、オープンソースパッケージ（multiboost）を用いて実装し、すべての比較手法に対して公平なハイパーパramータチューニングを実施。

実験結果

リサーチクエスチョン

• RQ1 多クラスブースティングは、多クラス問題をK個の1対他の二値分類に還元せずに、決定木を効果的に拡張できるか？
• RQ2 ベクトル値ベースラーナーを入力に依存しないラベルベクトルとラベルに依存しないスカラ分類器に因子化することで、効率的かつ効果的な多クラス学習が可能になるか？
• RQ3 ハミング木の性能は、AOSOLogitBoost や SVM といった最先端の多クラスブースティングアルゴリズムと比べてどうか？
• RQ4 ハミング木を用いた AdaBoost.MH は、標準の決定木や1対他のアプローチを用いる他の AdaBoost.MH 実装を上回る性能を発揮するか？
• RQ5 本手法は、画像認識やランク付けタスクを含む多様な多クラス問題に対して、ロバストで汎用的か？

主な発見

• ピクセルベースのスタンプと50,000イテレーションを用いて、MNISTデータセットで1.25%のテスト誤差を達成し、浅い分類器の中でも最高水準に位置する。
• ハールフィルタと4ノード木を用い、10,000イテレーションでMNISTで0.85%のテスト誤差を達成。古典的畳み込みニューラルネットワークと同等の性能を示した。
• Kaggle Emotionsチャレンジでは、57%のテスト誤差で17位を達成。多くの非ディープラーニングベースラインを上回った。
• Yahoo! Learning-to-Rankチャレンジでは上位10位以内の成績を達成。優勝モデルと差が顕著にない結果を示した。
• INTERSPEECHチャレンジの感情認識サブチャレンジで優勝、ソーシャルシグナルサブチャレンジで準優勝。実世界での有効性を実証した。
• 実験的に、ハミング木は他の AdaBoost.MH 実装（例：Zhu et al., 2009; Mukherjee & Schapire, 2013）を上回り、AOSOLogitBoost や SVM と同等の性能を5つのベンチマークデータセットで示した。