[論文レビュー] Quant-BnB: A Scalable Branch-and-Bound Method for Optimal Decision Trees with Continuous Features

Rahul Mazumder, Meng Xiang+1 more|arXiv (Cornell University)|Jun 23, 2022

Machine Learning and Data Classification被引用数 5

ひとこと要約

Quant-BnB は、回帰および分類の両方のタスクにおいて、連続特徴を備えた最適な意思決定木のスケーラブルで正確な学習を可能にする、新しい分枝・限定法（branch-and-bound）アルゴリズムである。特徴の分位点を用いて探索空間を分割し、きめ細かい境界を計算することで、著しい高速化を達成しており、従来のMIPおよび動的計画法がタイムアウトするような大規模データセットにおいても、深さ2の木を10秒未塔で解ける。

ABSTRACT

Decision trees are one of the most useful and popular methods in the machine learning toolbox. In this paper, we consider the problem of learning optimal decision trees, a combinatorial optimization problem that is challenging to solve at scale. A common approach in the literature is to use greedy heuristics, which may not be optimal. Recently there has been significant interest in learning optimal decision trees using various approaches (e.g., based on integer programming, dynamic programming) -- to achieve computational scalability, most of these approaches focus on classification tasks with binary features. In this paper, we present a new discrete optimization method based on branch-and-bound (BnB) to obtain optimal decision trees. Different from existing customized approaches, we consider both regression and classification tasks with continuous features. The basic idea underlying our approach is to split the search space based on the quantiles of the feature distribution -- leading to upper and lower bounds for the underlying optimization problem along the BnB iterations. Our proposed algorithm Quant-BnB shows significant speedups compared to existing approaches for shallow optimal trees on various real datasets.

研究の動機と目的

• 連続特徴を備えた最適な意思決定木のためのスケーラブルで正確な手法の不足に対処すること。
• MIPソルバーや外部依存に依存しない、スタンドアロンで汎用的な分枝・限定法アルゴリズムを設計し、回帰および分類の両方のタスクを処理できること。
• 連続特徴を備えた大規模データセットにおいて、浅い最適木（深さ ≤ 3）の計算効率を向上させること。
• 意思決定木学習における理論的最適性と実用的スケーラビリティのギャップを埋めること。

提案手法

• 特徴分布の分位点を用いて、探索空間を部分領域に分割し、分枝・限定探索の対象とする。
• W1,s′（式13）を用いた動的下界を導入し、非最適な部分木を効果的に pruning する。
• 分位点分割に基づく新しい上界推定戦略を導入し、探索を効率的に誘導する。
• MIPソルバーや商業的ソフトウェアに依存せず、境界に基づく pruning を伴う深さ優先探索戦略を採用する。
• バイナリ化を経由せずに、連続特徴およびバイナリ特徴をネイティブに扱い、特徴の構造を保持する。
• CARTからのウォームスタートを用い、収束を加速する。ノードごとにパラメータ s′ を動的に調整する。

実験結果

リサーチクエスチョン

• RQ1 分枝・限定法が、スケールに応じて連続特徴を備えた最適な意思決定木を正確に得られるか？
• RQ2 分位点に基づく探索空間の分割は、従来の手法と比較して境界の質および pruning 効率をどのように向上させるか？
• RQ3 スタンドアロンのBnBアルゴリズムは、連続特徴を備えた大規模データセットにおいて、MIPおよび動的計画法を上回れるか？
• RQ4 回帰および分類タスクにおいて、ORT、GOSDT、BinOCTといった最先端手法と比較して、Quant-BnBはどの程度の性能向上を達成できるか？

主な発見

• 159,874件のインスタンスを有するデータセットにおいて、Quant-BnB は深さ2の回帰木を10秒未塔で全件解釈したが、ORT は4時間後にタイムアウトした。
• ニュースデータセット（31,715件のインスタンス）では、Quant-BnB は深さ2の木学習を349秒で完了したのに対し、ORT は2896秒（8.3倍の高速化）を要した。
• 深さ3の木では、11個の回帰データセットのうち8つでQuant-BnBが10秒未塔で最適解を達成したが、ORT は4時間以内にいかなる問題も解けなかった。
• 分類タスクにおいて、Quant-BnB はバイナリ化手法（例：MDLP）と同等またはそれ以上の最適な正答率を達成し、いくつかのデータセットではCARTを上回った。
• スキンデータセット（深さ3）では、訓練正答率が96.6％に達し、特徴変換を施さないままにバイナリ化手法の最適性能を再現した。
• Quant-BnB は、15万件を超えるサンプルを有するデータセットにおいても深さ2の木を10分未塔で解けるなど、堅牢性とスケーラビリティに優れ、既存の正確な手法を著しく上回った。