[論文レビュー] AOSO-LogitBoost: Adaptive One-Vs-One LogitBoost for Multi-Class Problem

Peng Sun, Mark D. Reid+1 more|arXiv (Cornell University)|Oct 18, 2011

Machine Learning and Algorithms参考文献 9被引用数 4

ひとこと要約

この論文では、密度の高いヘッセ行列を効率的に処理し、和がゼロとなる制約を強制するためのベクトルツリーと、クラスペアごとの適応的ブロック座標降下を用いる、多クラス分類のための適応的ワン・バイス・ワン・ロジットブースト（AOSO-LogitBoost）フレームワークを提案する。ABC-LogitBoostの改良版である本手法は、1つのツリーノードで常に2つのクラスのみを最適化することで、計算コストを抑えつつモデルの忠実性を維持し、複数の公開データセットで高い精度と高速な収束を達成する。

ABSTRACT

This paper presents an improvement to model learning when using multi-class LogitBoost for classification. Motivated by the statistical view, LogitBoost can be seen as additive tree regression. Two important factors in this setting are: 1) coupled classifier output due to a sum-to-zero constraint, and 2) the dense Hessian matrices that arise when computing tree node split gain and node value fittings. In general, this setting is too complicated for a tractable model learning algorithm. However, too aggressive simplification of the setting may lead to degraded performance. For example, the original LogitBoost is outperformed by ABC-LogitBoost due to the latter's more careful treatment of the above two factors. In this paper we propose techniques to address the two main difficulties of the LogitBoost setting: 1) we adopt a vector tree (i.e. each node value is vector) that enforces a sum-to-zero constraint, and 2) we use an adaptive block coordinate descent that exploits the dense Hessian when computing tree split gain and node values. Higher classification accuracy and faster convergence rates are observed for a range of public data sets when compared to both the original and the ABC-LogitBoost implementations.

研究の動機と目的

• 多クラス・ロジットブーストにおける結合された分類器出力と密度の高いヘッセ行列の課題に対処すること。
• オリジナルのロジットブーストやABC-LogitBoostといった既存手法を超えて、分類精度と収束速度を向上させること。
• 完全なヘッセ行列の計算を回避しつつ、モデル性能を維持するより効率的な最適化戦略を開発すること。
• すべてのクラスを独立にフィッティングするのではなく、適応的かつ選択的にクラスペアごとに最適化すること。
• 和がゼロとなる制約下での加法的ツリーモデリングに、より柔軟で取り扱いやすいフレームワークを提供すること。

提案手法

• 各ノードにK次元のベクトルを格納するベクトルツリーを導入し、クラス出力の和がゼロとなる制約を強制する。
• 計算複雑度を低減するために、適応的ワン・バイス・ワン（AOSO）選択を用い、各ノードで常に2つのクラスのみを最適化する。
• 選択されたクラスペアに限定して、分割の利益とノード値のフィッティングのための制約付き二次最適化を適用する。
• 適応的クラスペア選択を用いたブロック座標降下により、密度の高いヘッセ行列を効率的に近似する。
• 選択されたクラスペアの損失低減の二次近似を用いて、分割の利益とノード値の更新を計算する。
• ブースティングの反復処理中に常に和がゼロの制約を維持することで、モデルの一貫性を確保する。

実験結果

リサーチクエスチョン

• RQ1 適応的クラスペア選択は、多クラス・ロジットブーストにおける収束速度と分類精度を向上させることができるか？
• RQ2 和がゼロの制約を課したベクトルツリーを用いることで、スカラーツリー手法と比較してモデル性能にどのような影響を与えるか？
• RQ3 AOSOによる選択的ヘッセ行列近似は、精度を損なわずに計算コストをどの程度削減できるか？
• RQ4 AOSO-LogitBoostは、ABC-LogitBoostと比較して、テスト誤差と収束に必要なツリー数の点でどのように異なるか？
• RQ5 AOSO-LogitBoostは、SVM やディープラーニングといった最先端の分類器と比較して、特定のベンチマークデータセットで優れた性能を示すか？

主な発見

• AOSO-LogitBoostは、全テストデータセットでオリジナルのロジットブーストおよびABC-LogitBoostよりも低いテスト誤差率を達成した。
• 平均して、AOSO-LogitBoostは収束にABC-LogitBoostが要するツリー数の55％から80％の数で済ませ、著しく高速な収束を示した。
• Mnist10kデータセットでは、J=20 かつ v=0.1 の条件下で、AOSO-LogitBoostはABC-LogitBoostが要するツリー数の76.89％にとどまった。
• Poker25kT1およびPoker25kT2データセットでは、AOSO-LogitBoostはテスト誤差率が10％未満に抑えられ、SVM（約40％の誤差）やABC-LogitBoostを上回った。
• 統計的検定の結果、AOSO-LogitBoostがABC-LogitBoostを上回る性能向上は、ほとんどのデータセットで有意であり（p値＜0.05）、信頼性が確認された。
• Letter15k や Letter4k といった困難なデータセットに対しても、AOSO-LogitBoostは精度と収束速度の両面で一貫した優位性を示し、ABC-LogitBoostが使用するツリー数の55％の数で収束した。