[論文レビュー] An empirical study on hyperparameter tuning of decision trees.

Rafael Gomes Mantovani, Tomáš Horváth+4 more|arXiv (Cornell University)|Dec 5, 2018

Machine Learning and Data Classification参考文献 58被引用数 35

ひとこと要約

本論文は、94のOpenMLデータセットを用いて、CART、C4.5、CTreeの3つの意思決定木アルゴリズムにおけるハイパーパrameterチューニングを実証的に調査した。その結果、CARTではほとんどの場合でチューニングが性能を著しく向上させる一方、C4.5とCTreeでは約1/3のデータセットでのみ向上が見られ、Iraceが最も効果的な最適化手法であり、性能向上の大部分を占めるのはハイパーパrameterの小さなサブセットであった。

ABSTRACT

Machine learning algorithms often contain many hyperparameters whose values affect the predictive performance of the induced models in intricate ways. Due to the high number of possibilities for these hyperparameter configurations, and their complex interactions, it is common to use optimization techniques to find settings that lead to high predictive accuracy. However, we lack insight into how to efficiently explore this vast space of configurations: which are the best optimization techniques, how should we use them, and how significant is their effect on predictive or runtime performance? This paper provides a comprehensive approach for investigating the effects of hyperparameter tuning on three Decision Tree induction algorithms, CART, C4.5 and CTree. These algorithms were selected because they are based on similar principles, have presented a high predictive performance in several previous works and induce interpretable classification models. Additionally, they contain many interacting hyperparameters to be adjusted. Experiments were carried out with different tuning strategies to induce models and evaluate the relevance of hyperparameters using 94 classification datasets from OpenML. Experimental results indicate that hyperparameter tuning provides statistically significant improvements for C4.5 and CTree in only one-third of the datasets, and in most of the datasets for CART. Different tree algorithms may present different tuning scenarios, but in general, the tuning techniques required relatively few iterations to find accurate solutions. Furthermore, the best technique for all the algorithms was the Irace. Finally, we find that tuning a specific small subset of hyperparameters contributes most of the achievable optimal predictive performance.

研究の動機と目的

• CART、C4.5、CTreeという3つの広く使われている意思決定木アルゴリズムにおけるハイパーパrameterチューニングが予測性能に与える影響を調査すること。
• モデルの精度と実行効率の両面で、さまざまなハイパーパrameter最適化手法の有効性を評価すること。
• 最適な予測性能を達成するために最も寄与するハイパーパrameterを同定すること。
• チューニングが異なるデータセットやアルゴリズムにおいて一貫して有益であるかどうかを特定すること。
• 意思決定木のインダクションにおける効率的なハイパーパrameterサーチ戦略について実用的な指針を提供すること。

提案手法

• CART、C4.5、CTreeの3つの意思決定木アルゴリズムに対して、ベイズ最適化、進化的アルゴリズム、ランダムサーチを含む包括的なハイパーパrameterチューニング戦略を適用した。
• Irace最適化フレームワークを、最先端の自動構成ツールとして用い、アルゴリズム間でのチューニング性能を比較した。
• OpenMLプラットフォームの94の多様な二値分類および多値分類データセットを用いて、モデルの性能を評価した。
• チューニングによる性能向上がデータセット全体で意味を持つかどうかを検証するため、統計的有意性検定を実施した。
• 個々のハイパーパラメータが全体の性能向上に果たす寄与度を特定するため、アブレーションスタディを実施した。
• 性能と効率のトレードオフを評価するため、予測精度と計算コストの両方を測定した。

実験結果

リサーチクエスチョン

• RQ1 多様なデータセットにおいて、ハイパーパラメータチューニングはCART、C4.5、CTreeの予測性能にどのように影響を与えるか？
• RQ2 3つのアルゴリズム全体において、どのハイパーパラメータ最適化手法が最も優れた性能向上をもたらすか？
• RQ3 個々のハイパーパラメータがチューニングによる全体の性能向上に果たす相対的寄与度はどの程度か？
• RQ4 高品質な構成を発見するために、一般的にはどの程度の反復回数で十分か？
• RQ5 異なるデータセットにおいて、どのアルゴリズムがチューニングによって最も恩恵を受けるか、一貫したパターンがあるか？

主な発見

• ハイパーパラメータチューニングは、大多数のデータセットでCARTの性能を統計的に有意に向上させたが、C4.5とCTreeでは約1/3のデータセットでのみ顕著な向上が見られた。
• Irace最適化手法は、3つのアルゴリズムすべてにおいて一貫して他のチューニング戦略を上回り、比較的少ない反復回数で高性能な構成を同定できた。
• 性能向上の大部分を占めるのは、木の深さ、分割に必要な最小サンプル数、信頼水準の閾値といった、特定のハイパーパラメータの小さなサブセットであった。
• 最適な構成を発見するのに必要な反復回数は比較的低く、計算コストを著しく増加させることなく、効率的な探索戦略で良好な結果を得られることが示された。
• チューニングの影響はアルゴリズムによって顕著に異なり、チューニング戦略は特定のアルゴリズムとデータセットの特性に合わせてカスタマイズされるべきであることが示された。
• 同じ基本的原理に従うにもかかわらず、3つのアルゴリズムはそれぞれ異なるチューニング行動を示し、アルゴリズム固有のチューニングアプローチの必要性が浮き彫りになった。