[論文レビュー] Better Trees: An empirical study on hyperparameter tuning of classification decision tree induction algorithms

Rafael Gomes Mantovani, Tomáš Horváth+5 more|arXiv (Cornell University)|Dec 5, 2018

Machine Learning and Data Classification被引用数 11

ひとこと要約

本論文は、94のOpenMLデータセットを用いて、CARTおよびC4.5意思決定木アルゴリズムのハイパーパrameterチューニングに関する包括的な実験的調査を実施している。結果として、CARTの性能向上はほとんどのデータセットで顕著に見られ、C4.5では約1/3のデータセットでのみ向上が確認された。Iraceが最も効果的なチューニング手法であることが示され、モデル性能に最も影響を与える少数のハイパーパrameter（例：minsplit, minbucket）が特定された。

ABSTRACT

Machine learning algorithms often contain many hyperparameters (HPs) whose values affect the predictive performance of the induced models in intricate ways. Due to the high number of possibilities for these HP configurations and their complex interactions, it is common to use optimization techniques to find settings that lead to high predictive performance. However, insights into efficiently exploring this vast space of configurations and dealing with the trade-off between predictive and runtime performance remain challenging. Furthermore, there are cases where the default HPs fit the suitable configuration. Additionally, for many reasons, including model validation and attendance to new legislation, there is an increasing interest in interpretable models, such as those created by the Decision Tree (DT) induction algorithms. This paper provides a comprehensive approach for investigating the effects of hyperparameter tuning for the two DT induction algorithms most often used, CART and C4.5. DT induction algorithms present high predictive performance and interpretable classification models, though many HPs need to be adjusted. Experiments were carried out with different tuning strategies to induce models and to evaluate HPs' relevance using 94 classification datasets from OpenML. The experimental results point out that different HP profiles for the tuning of each algorithm provide statistically significant improvements in most of the datasets for CART, but only in one-third for C4.5. Although different algorithms may present different tuning scenarios, the tuning techniques generally required few evaluations to find accurate solutions. Furthermore, the best technique for all the algorithms was the IRACE. Finally, we found out that tuning a specific small subset of HPs is a good alternative for achieving optimal predictive performance.

研究の動機と目的

• CARTおよびC4.5意思決定木インダクションアルゴリズムの予測性能に与えるハイパーパrameterチューニングの影響を調査すること。
• 多様な分類データセットにおいて、さまざまなハイパーパrameterチューニング手法の有効性を評価すること。
• 統計的および感度分析を用いて、モデル性能に最も影響を与えるハイパーパrameterを同定すること。
• ハイパーパramータチューニングが有益である条件と、デフォルト設定で十分である条件を特定すること。
• 意思決定木向けの知的ハイパーパラメータ推薦システムの開発を支援すること。

提案手法

• CARTおよびC4.5（J48）アルゴリズムを用いて、94のOpenMLベンチマークデータセットにおける実験的評価。
• 5つのチューニング手法の適用：ランダムサーチ（RS）、逐次モデルベース最適化（SMBO）、粒子群最適化（PSO）、ベイズ最適化（BO）、反復的レース（Irace）。
• fANOVA（要因に依存しない分散分解）を用いてハイパーパラメータの重要度を評価し、探索空間を縮小。
• ノンパラメトリック検定（例：ウィルコクソン符号順位検定）を用いた、チューニング済みとデフォルトのハイパーパラメータ設定の統計的比較。
• メタラーニング（MtL）分析を用いて、チューニングの恩恵を予測できるデータセットの特徴（例：クラス数、意思決定境界の複雑さ）を同定。
• コードおよびハイパーパラメータデータの公開により、再現性の確保と他のアルゴリズムへの将来的な拡張を支援。

実験結果

リサーチクエスチョン

• RQ1 ハイパーパラメータチューニングは、多様なデータセットにおいてCARTおよびC4.5の予測性能を顕著に向上させるか？
• RQ2 さまざまな計算リソース予算において、どのハイパーパラメータチューニング手法が最も優れた性能を発揮するか？
• RQ3 どのハイパーパラメータが最終的なモデルの予測精度を決定づけるか？
• RQ4 どのようなデータセット特徴（例：クラス数、非線形境界）において、チューニングがデフォルト設定を上回る恩恵をもたらすか？
• RQ5 全探索を避けても、最適な性能を達成できるように、ハイパーパラメータ探索空間を縮小できるか？

主な発見

• CARTでは大多数のデータセットで統計的に有意な性能向上が確認されたが、C4.5では約1/3のデータセットでのみ向上が見られた。
• Iraceチューニング手法が他のすべての手法を上回り、特にα = 0.1の条件下で優れた性能を発揮した。また、メタヒューリスティクスと同等の実行時間で高い性能を達成した。
• fANOVA分析により、性能変動の主な要因として「minsplit」と「minbucket」の少数のハイパーパラメータが特定された。
• 8つ以上のクラスを有する、非線形の意思決定境界を有するデータセットではチューニングが最も効果的であり、単純で明確に分離可能なデータセットではデフォルト設定で十分であった。
• 最も影響力のあるパrameterに限定したハイパーパラメータ探索空間に縮小することで、統計的に有意な性能向上の件数が増加した。
• 本研究は、多くの問題においてデフォルトのハイパーパラメータが十分に機能することを実証的根拠で示したが、複雑または変動が大きいデータセットではチューニングが不可欠であることを明らかにした。