[論文レビュー] Generalized and Scalable Optimal Sparse Decision Trees

Jimmy Lin, Chudi Zhong+3 more|arXiv (Cornell University)|Jun 15, 2020

Explainable Artificial Intelligence (XAI)被引用数 41

ひとこと要約

GOSDTは、さまざまな目的（例：AUC、F値）に対してスパース決定木を最適化する一般的なフレームワークを提供し、連続特徴をビン化せずにスケーラブルに処理します。

ABSTRACT

Decision tree optimization is notoriously difficult from a computational perspective but essential for the field of interpretable machine learning. Despite efforts over the past 40 years, only recently have optimization breakthroughs been made that have allowed practical algorithms to find optimal decision trees. These new techniques have the potential to trigger a paradigm shift where it is possible to construct sparse decision trees to efficiently optimize a variety of objective functions without relying on greedy splitting and pruning heuristics that often lead to suboptimal solutions. The contribution in this work is to provide a general framework for decision tree optimization that addresses the two significant open problems in the area: treatment of imbalanced data and fully optimizing over continuous variables. We present techniques that produce optimal decision trees over a variety of objectives including F-score, AUC, and partial area under the ROC convex hull. We also introduce a scalable algorithm that produces provably optimal results in the presence of continuous variables and speeds up decision tree construction by several orders of magnitude relative to the state-of-the art.

研究の動機と目的

• 不均衡データに対処し、決定木の連続変数を完全に最適化します。
• 複数の目的（F-score、AUC、pAUC、加重精度、バランス精度）に対して最適なスパース木を実現します。
• 探索空間を剪定し最適性を保証する厳密な境界と表現を提供します。

提案手法

• スパース決定木最適化のための境界付き一般動的計画法（DPB）フレームワークを導入します。
• 探索空間を剪定するための新しい境界（階層的目的下界、増分進捗境界、類似サポート境界、同値点境界、部分集合境界）を開発します。
• 連続特徴量の計算再利用を明らかにするため、DP探索空間を葉集合とサポート集合で表現します。
• 改善を効率的に伝搬させるため、優先度キュー駆動の非同期境界更新機構を使用します。
• ビン化を避け、最適性の損失を証明し、訓練データ上で正確な順位統計（例：AUC、pAUC）を直接最適化します。

実験結果

リサーチクエスチョン

• RQ1 GOSDTはAUCやF-scoreなどの非精度目的に対してスパース決定木を最適に最適化できますか？
• RQ2 ビン化なしで連続特徴量をどのように扱い、最適性を維持し計算を高速化しますか？
• RQ3 探索空間を最も効果的に削減し、スケーラブルな最適化を可能にする境界と表現は何ですか？
• RQ4 既存の最適木法と比較して、GOSDTは不均衡データセットでどのように動作しますか？

主な発見

• GOSDTはAUC、pAUC、F-score、バランス精度および加重精度を含む広範な目的に対して最適化できます。
• ビン化前処理は最適性を低下させます。GOSDTはビン化を避けることで最適性を維持します。
• DPBベースのGOSDTは、特に連続変数で、従来の方法よりも大幅にスケーラビリティと実行時間を改善します。
• 階層的下界と増分/類似サポート境界は探索空間を劇的に剪定し、より速い最適性証明を可能にします。
• GOSDTはスパースで正確な木を実現し、多様なデータセットで最適性までの時間を示します。