[論文レビュー] Learning Optimal Decision Trees from Large Datasets

Florent Avellaneda|arXiv (Cornell University)|Apr 12, 2019

Machine Learning and Data Classification参考文献 9被引用数 4

ひとこと要約

本稿では、大規模なデータセットから最小深さおよび最小ノード数の最適な意思決定木を学習するスケーラブルなSATベースの手法を提示する。逐次的にブール論理式を生成し、反例を用いて木を精練することで、推論速度が著しく向上し、'Mouse'データセットを75msで処理する。従来の正確な手法に比べて高速性とスケーラビリティに優れ、高い精度を維持する。

ABSTRACT

Inferring a decision tree from a given dataset is one of the classic problems in machine learning. This problem consists of buildings, from a labelled dataset, a tree such that each node corresponds to a class and a path between the tree root and a leaf corresponds to a conjunction of features to be satisfied in this class. Following the principle of parsimony, we want to infer a minimal tree consistent with the dataset. Unfortunately, inferring an optimal decision tree is known to be NP-complete for several definitions of optimality. Hence, the majority of existing approaches relies on heuristics, and as for the few exact inference approaches, they do not work on large data sets. In this paper, we propose a novel approach for inferring a decision tree of a minimum depth based on the incremental generation of Boolean formula. The experimental results indicate that it scales sufficiently well and the time it takes to run grows slowly with the size of dataset.

研究の動機と目的

• 大規模データセットから最小深さおよび最小ノード数の最適な意思決定木を学習するNP完全問題に対処すること。
• 大規模なトレーニングセットで性能が著しく低下する既存のSATベースの正確な推論手法のスケーラビリティの限界を克服すること。
• 説明可能なAIを必要とする重要なシステムに適した実用的で効率的な正確な意思決定木学習アルゴリズムを開発すること。
• 従来のSAT定式化を改善し、トレーニング例を逐次処理することで、データセットサイズに伴う実行時間の増加を抑えること。
• 従来の正確な手法では不適切とされていた、よく知られた大規模データセットに対しても最適な意思決定木を効率的に学習できることを示すこと。

提案手法

• 意思決定木の学習をブール充足可能性問題（SAT）として定式化し、木の構造とトレーニング例との整合性制約を符号化する。
• 1つのトレーニング例ずつ処理する逐次的アルゴリズムを導入し、整合性のない場合に反例を用いて木を精練する。
• 2段階のアプローチを採用：まず最小深さの木を学習し、次に深さ最適性を保ちながらノード数を最小化するように剪定する。
• 一括で論理式を構築するのを避けるコンパクトなSAT符号化を採用し、メモリと実行時間のオーバーヘッドを低減する。
• 現代のSATソルバを活用して、逐次的な論理式生成を効率的に行い、大規模データセットへのスケーラビリティを実現する。
• 非二値および数値特徴量を扱うために、特徴量符号化技術を適用し、それらを二値ブール特徴量に変換する。

実験結果

リサーチクエスチョン

• RQ1 最適性（深さおよびノード数）を維持しながら、大規模データセットへのスケーラビリティを実現できるか？
• RQ2 実行時間およびメモリ使用量の観点から、逐次的論理式生成と一括SAT符号化の比較は？
• RQ3 データセットサイズ、特徴量数、深さが正確な意思決定木学習における推論時間に与える影響は？
• RQ4 従来の正確な手法では不適切とされていた、よく知られたベンチマークデータセットに対しても最適な意思決定木を学習できるか？
• RQ5 逐次的アプローチは、ヒューリスティック法や非逐次的正確法と比較して、予測精度を維持または向上できるか？

主な発見

• 提案手法は、'Mouse'データセットを75ミリ秒で処理し、従来の最良のSATベース手法（577秒）と比較して7.7倍の高速化を達成した。
• アルゴリズムはデータセットサイズに対して準線形にスケーリングし、例の数が一定値に達した後は実行時間が頭打つ傾向を示した。これは、従来のSATベース手法とは対照的である。
• 深さ4の木において、balance-scaleデータセットで92.6%の精度を達成し、BinOCT*ヒューリスティック法（78.9%）を上回った。
• NP完全性にもかかわらず、実行時間はノード数に対してほぼ多項式的に増加するため、実用的なスケーラビリティが強く示された。
• 特徴量の数が推論時間に最も強い負の影響を与えることが示され、特徴量選択や剪定によりさらなる性能向上が期待できる。
• 従来の正確な推論では不適切とされていた、大規模な実世界ベンチマークデータセットに対しても、最適な意思決定木を効率的に推論できた。