[論文レビュー] An Experimental Comparison of Old and New Decision Tree Algorithms

Arman Zharmagambetov, Suryabhan Singh Hada+2 more|arXiv (Cornell University)|Nov 8, 2019

Machine Learning and Data Classification参考文献 13被引用数 13

ひとこと要約

この論文は、木のノードにおける交互最適化を用いて誤分類誤差を直接最適化する、新しい意思決定木アルゴリズムである Tree Alternating Optimization (TAO) を、従来の軸に沿ったおよび斜交の木アルゴリズムと比較して評価している。TAO は多様なデータセットにおいて顕著に高い精度を達成するとともに、より小さく解釈性の高い木を生成し、OCT や CO2 といった高度な手法でさえも精度と効率の両面で上回っている。

ABSTRACT

This paper presents a detailed comparison of a recently proposed algorithm for optimizing decision trees, tree alternating optimization (TAO), with other popular, established algorithms. We compare their performance on a number of classification and regression datasets of various complexity, different size and dimensionality, across different performance factors: accuracy and tree size (in terms of the number of leaves or the depth of the tree). We find that TAO achieves higher accuracy in nearly all datasets, often by a large margin.

研究の動機と目的

• 最近提案された Tree Alternating Optimization (TAO) アルゴリズムの、既存の意思決定木アルゴリズムに対する性能を評価すること。
• 多様なデータセットにおいて、TAO の精度、木のサイズ（深さとリーフ数）、および学習効率を評価すること。
• 誤分類誤差を直接最適化することで、グリーディな不純度ベースの手法よりも、一般化性能と解釈性が向上するかどうかを検討すること。
• 軸に沿ったおよび斜交の木アルゴリズム、特に最近の最適化ベースの手法と比較して、TAO の性能を評価すること。
• TAO の交互最適化フレームワークが、精度およびモデルのコンactness の観点で優れた結果をもたらすかどうかを特定すること。

提案手法

• TAO は、構造が固定された意思決定木の誤分類誤差を、ノードごとの交互最適化を用いて直接最適化する。
• 各イテレーションで、他のノードのパラメータを固定した上で、1つのノードの分割パラメータを更新し、目的関数値が非増加になることを保証する。
• 軸に沿った分割（個々の特徴量の使用）と斜交の分割（特徴量の重み付き組み合わせの使用）の両方をサポートする。
• TAO は、ノードの部分集合を分離可能に最適化することで、段階的に木の性能を改善する座標方向更新戦略を採用する。
• アルゴリズムは、局所的な不純度測度を最適化するのではなく、グローバルな損失を最適化するため、CART のようなグリーディ手法よりもより良い近似最適解を求めるように設計されている。
• TAO は分類および回帰タスクに適用され、テスト精度、RMSE、木の深さ、リーフ数を用いて性能が評価されている。

実験結果

リサーチクエスチョン

• RQ1 TAO は、多様なデータセットにおいて、従来の意思決定木アルゴリズムよりも高い分類および回帰精度を達成するか？
• RQ2 特にモデルの解釈性に関連して、他のアルゴリズムと比較して、TAO の木のサイズ（深さとリーフ数）はいかがなっているか？
• RQ3 TAO は、OCT や CO2 のような非グリーディな最適化ベースの手法を、精度と学習効率の両面で上回ることができるか？
• RQ4 CART や C5.0 のような従来のグリーディアルゴリズムと比較して、TAO の性能はデータセットのサイズおよび次元数の増加に伴いどのようにスケーリングするか？
• RQ5 特に MNIST のような大規模データセットにおいて、TAO の実行時間効率は他の斜交木アルゴリズムと比較してどの程度か？

主な発見

• TAO は、ほぼすべての分類および回帰データセットで、ベースラインのすべてのアルゴリズムを上回る高い精度を達成した。
• YearPredictionMSD データセットでは、TAO はテスト RMSE 9.11 ± 0.05 を達成し、CART-R（9.71 ± 0.31）と GUIDE（9.79 ± 0.54）を上回った。
• TAO は顕著に小さく浅い木を生成した。例えば、CT スライスデータセットでは、TAO の平均深さは 7.0、リーフ数は 74.8 であったのに対し、GUIDE はそれぞれ 36.0 と 700.0 であった。
• MNIST データセットでは、TAO は約 1200–1400 秒で学習を完了させ、OC1（1800 秒）と GUIDE（26,000 秒）を上回ったが、高い精度を維持した。
• テスト誤差の観点では、TAO はテストセットの 7 つの分類データセットのうち 5 つで勝利したのに対し、CART-P は 2 勝、他の手法は 0 勝であった。
• TAO の実行時間は、CART や C5.0 のような軸に沿った手法と同等の性能を示したが、GUIDE のような他の斜交手法よりも顕著に速かった。