[論文レビュー] Optimal Generalized Decision Trees via Integer Programming

Oktay Günlük, Jayant Kalagnanam+3 more|arXiv (Cornell University)|Dec 10, 2016

Machine Learning and Data Classification参考文献 20被引用数 20

ひとこと要約

本稿では、カテゴリカルデータの最適な意思決定木を構築するための混合整数プログラミング（MIP）定式化を提案する。この手法により、カテゴリカル特徴量に対する組み合わせ的ブランチングルールが可能となり、数値特徴量はしきい値による分割で扱える。CARTよりも小さい木で、より高い精度と解釈可能性を達成し、FICOのHELocデータや乳がん分類を含むベンチマークデータセットで最先端の性能を示した。

ABSTRACT

Decision trees have been a very popular class of predictive models for decades due to their interpretability and good performance on categorical features. However, they are not always robust and tend to overfit the data. Additionally, if allowed to grow large, they lose interpretability. In this paper, we present a mixed integer programming formulation to construct optimal decision trees of a prespecified size. We take the special structure of categorical features into account and allow combinatorial decisions (based on subsets of values of features) at each node. Our approach can also handle numerical features via thresholding. We show that very good accuracy can be achieved with small trees using moderately-sized training sets. The optimization problems we solve are tractable with modern solvers.

研究の動機と目的

• 二値分類に適したカテゴリカル特徴量を備えた最適な意思決定木を構築する手法を開発すること。その際、高い精度と解釈可能性を確保すること。
• CARTのようなヒューリスティックな意思決定木アルゴリズムの限界を克服すること。これらのアルゴリズムは、貪欲かつ逐次的な構築により、しばしば部分最適な木を生成するため。
• カテゴリカル特徴量に対する柔軟なブランチングルールを可能とすること。たとえば、「既婚」または「同居パートナー」をグループとして扱うような値の部分集合による分割を可能とし、モデルの表現力の向上を図ること。
• 精度だけでなく、感度や特異度といった特定の性能指標を最適化することにより、分野特有のモデル設計を可能とすること。
• 現代のMIPソルバーを用いることで、中程度のサイズのデータセットに対しても最適な木を実用的な時間制限内で効率的に計算できることを示すこと。

提案手法

• ノードの意思決定とブランチングルールを表す整数変数を用いて、最適な意思決定木問題を混合整数線形計画問題（MILP）として定式化する。
• カテゴリカル特徴量のための組み合わせ的ブランチングルールを導入することで、二値エンコーディングに比べてモデルの表現力を向上させる。
• 数値特徴量は、CART風の意思決定ルールに準拠したしきい値ベースの分割により処理する。
• 複雑さを制御し、過学習を防ぐために、事前に指定された木のサイズ（深さまたはノード数）を用いる。
• 現代のMIPソルバーを用いたブランチアンドカット法により、実用的な時間制限内で最適解または近似最適解を求める。
• カテゴリカル特徴量の構造を活用し、問題固有の有効な不等式とプリプロセス技術を適用することで、解法時間を短縮する。

実験結果

リサーチクエスチョン

• RQ1 正確な整数プログラミングアプローチは、CARTのようなヒューリスティックな意思決定木アルゴリズムに比べ、分類精度と解釈可能性の面で優れていると言えるか？
• RQ2 標準的な二値分割に比べ、カテゴリカル特徴量に対する組み合わせ的ブランチングルールが、モデル性能にどの程度の向上効果をもたらすか？
• RQ3 中程度のサイズの実世界データセットに対しても、実用的に使用可能なほど効率的に最適な意思決定木を構築できるか？
• RQ4 精度ではなく感度や特異度を最適化する際、最適木の性能はヒューリスティック木と比べてどの程度優れているか？
• RQ5 訓練データセットのサイズが増加するに従い、提案されたMIP定式化は効果的にスケーリングできるか？また、問題固有の改善手法により、解法時間は短縮可能か？

主な発見

• FICO HELocデータセットでは、ODTが90%のデータを用いて深さ2の木で71.6%のテスト精度を達成したのに対し、CARTは71.0%にとどまった。
• 乳がんデータセットでは、深さ2のODTが95%の訓練感度制約のもとで94.7%のテスト感度（TPR）を達成し、高い特異度（93.0%）を維持した。
• 同じ訓練制約下で、深さ2のODTは深さ3の木よりも一般化性能が高く、テストTPRが94.7%（深さ3木は93.0%）を記録した。
• 乳がんデータセットにおいて、深さ2のODTは100%の訓練感度制約のもとで、99.1%の特異度と79.6%の感度を達成した。
• HELocデータセットでは、ODT定式化が405秒以内に最適解に到達した。これは中程度のサイズのデータセットに対し、実行可能性が保証されていることを示している。
• ODTアプローチは、特に小規模で高精度な木を必要とする状況において、CARTを常に上回る精度と解釈可能性を達成した。