[論文レビュー] Enhanced version of AdaBoostM1 with J48 Tree learning method

Kyongche Kang, Jack Michalak|arXiv (Cornell University)|Feb 10, 2018

Imbalanced Data Classification Techniques参考文献 3被引用数 8

ひとこと要約

本稿では、調整可能な重み閾値（P）と反復回数（I）を備えたJ48（C4.5）意思決定木を基本学習器として用いる、拡張されたAdaBoostM1アルゴリズムを提案する。これらのパラメータを最適化することで、開発セットでは平均誤差率比を2.4から0.9に、評価セットでは2.1から1.2に低下させ、ベースラインのAdaBoostM1（意思決定スティンプを用いる）に比べ、より高いロバスト性と分類性能を実現した。

ABSTRACT

Machine Learning focuses on the construction and study of systems that can learn from data. This is connected with the classification problem, which usually is what Machine Learning algorithms are designed to solve. When a machine learning method is used by people with no special expertise in machine learning, it is important that the method be robust in classification, in the sense that reasonable performance is obtained with minimal tuning of the problem at hand. Algorithms are evaluated based on how robust they can classify the given data. In this paper, we propose a quantifiable measure of robustness, and describe a particular learning method that is robust according to this measure in the context of classification problem. We proposed Adaptive Boosting (AdaBoostM1) with J48(C4.5 tree) as a base learner with tuning weight threshold (P) and number of iterations (I) for boosting algorithm. To benchmark the performance, we used the baseline classifier, AdaBoostM1 with Decision Stump as base learner without tuning parameters. By tuning parameters and using J48 as base learner, we are able to reduce the overall average error rate ratio (errorC/errorNB) from 2.4 to 0.9 for development sets of data and 2.1 to 1.2 for evaluation sets of data.

研究の動機と目的

• 手動によるチューニングを最小限に抑えることで、非専門家ユーザー向けのよりロバストな機械学習分類器を開発すること。
• AdaBoostM1のデフォルトの意思決定スティンプベース学習器を、より強力なJ48意思決定木に置き換えることで分類精度を向上させること。
• 重み閾値（P）と反復回数（I）という重要なハイパーパrameterの体系的チューニングを通じて、アルゴリズムのロバスト性を定量化および向上させること。
• 標準データセット上で、提案手法をベースラインのAdaBoostM1（意思決定スティンプを用いる）と比較してベンチマークすること。
• J48を用いたパラメータチューニングが、開発および評価データセットの両方で一貫した性能向上をもたらすことを示すこと。

提案手法

• 提案手法は、意思決定スティンプの代わりにJ48意思決定木をAdaBoostM1フレームワークの基本学習器として使用する。
• 重み閾値（P）（サンプル再重み付け用）とブースティング反復回数（I）という2つのチューナブルなハイパーパrameterを導入する。
• アルゴリズムは、誤分類されたインスタンスに注目するように再重み付けされた訓練データ上で弱学習器を繰り返し学習する。
• 最終的な予測は、各弱学習器の正答率に応じて重み付けされた多数決によるものである。
• PとIの最適化のため、交差検証を用いてパラメータチューニングを実施する。
• ロバスト性は、提案手法の誤差率（errorC）とナイーブベイズの誤差率（errorNB）の比として測定され、比が低いほど性能が優れていることを示す。

実験結果

リサーチクエスチョン

• RQ1 AdaBoostM1における意思決定スティンプの代わりにJ48木を用いることで、専門家によるチューニングなしに分類のロバスト性を向上させることができるか？
• RQ2 重み閾値（P）と反復回数（I）のチューニングが、提案手法とナイーブベイズの間の誤差率比にどのように影響するか？
• RQ3 J48を用いた拡張AdaBoostM1は、開発および評価データセットの両方で一貫して優れた性能を発揮するか？
• RQ4 パラメータチューニングにより、ベースラインのAdaBoostM1（意思決定スティンプを用いる）に比べて誤差率比がどの程度低下するか？
• RQ5 定量的なロバスト性の指標を効果的に用いてブースティングアルゴリズムの評価と比較が可能か？

主な発見

• J48と最適化されたパラメータを用いた拡張AdaBoostM1は、開発データセットにおいて平均誤差率比（errorC/errorNB）を2.4から0.9に低下させた。
• 評価セットでは誤差率比が2.1から1.2に低下し、顕著な性能向上が確認された。
• 提案手法は、全テストデータセットにおいてベースラインのAdaBoostM1（意思決定スティンプを用いる）を上回った。
• 重み閾値（P）と反復回数（I）のチューニングにより、分類精度とロバスト性が顕著に向上した。
• J48をベース学習器として用いることで、より正確な弱学習器が得られ、全体のアンサンブル性能の向上に寄与した。
• 定量的なロバスト性指標は、パラメータチューニングおよびモデル選択による性能向上を効果的に捉えていた。