[論文レビュー] Strong Optimal Classification Trees

Sina Aghaei, Andrés Gómez+1 more|arXiv (Cornell University)|Mar 29, 2021

Machine Learning and Data Classification被引用数 15

ひとこと要約

本稿では、バイナリデータの特徴を活用して緩和の強度を高め、計算を加速する、流体ベースの混合整数最適化（MIO）定式化を提案する。Benders分解と最大流／最小カット双対性を活用することで、最先端のMIO手法と比較して29倍高速に収束し、汎化性能も最大8%向上する。同時に、付加制約を用いることで解釈可能かつ公平な木構造の設計が可能となる。

ABSTRACT

Decision trees are among the most popular machine learning models and are used routinely in applications ranging from revenue management and medicine to bioinformatics. In this paper, we consider the problem of learning optimal binary classification trees with univariate splits. Literature on the topic has burgeoned in recent years, motivated both by the empirical suboptimality of heuristic approaches and the tremendous improvements in mixed-integer optimization (MIO) technology. Yet, existing MIO-based approaches from the literature do not leverage the power of MIO to its full extent: they rely on weak formulations, resulting in slow convergence and large optimality gaps. To fill this gap in the literature, we propose an intuitive flow-based MIO formulation for learning optimal binary classification trees. Our formulation can accommodate side constraints to enable the design of interpretable and fair decision trees. Moreover, we show that our formulation has a stronger linear optimization relaxation than existing methods in the case of binary data. We exploit the decomposable structure of our formulation and max-flow/min-cut duality to derive a Benders' decomposition method to speed-up computation. We propose a tailored procedure for solving each decomposed subproblem that provably generates facets of the feasible set of the MIO as constraints to add to the main problem. We conduct extensive computational experiments on standard benchmark datasets on which we show that our proposed approaches are 29 times faster than state-of-the-art MIO-based techniques and improve out-of-sample performance by up to 8%.

研究の動機と目的

• 最適分類木の既存のMIOベースの手法に見られる、緩和が弱く、収束が遅く、最適性ギャップが大きいといった限界を是正すること。
• バイナリデータの構造を活用した、より強いMIO定式化を構築し、緩和の強度と解の品質を向上させること。
• 分解可能な構造と最大流／最小カット双対性を活用したBenders分解により、計算を加速すること。
• 解釈可能で公平な意思決定木の設計を可能にするため、付加制約の統合を可能とすること。
• ベンチマークデータセット上での計算速度と汎化性能の両面で、優れた性能を実証すること。

提案手法

• 決定木学習をネットワークフロー問題としてモデル化する流体ベースのMIO定式化を提案。変数はノードおよび分割を通るデータの流れを表す。
• 最大流／最小カット双対性を用いてBendersの最適性カットを導出し、有効な不等式を介してマスタープロブレムを強化する。
• MIOの実行可能領域の顔（ファセット）を生成するカットプレーンを生成する、特化した部分問題の解法手順を開発。
• マスタープロブレムが木構造を最適化し、部分問題が実行可能性を検証しカットを生成する、Benders分解フレームワークを実装。
• 問題をマスタープロブレム（木構造）と部分問題（データフローと分割意思決定）に分離する分解戦略を採用し、効率的な列生成を可能にする。
• 公平性や解釈可能性といった付加制約を、MIO定式化に直接統合することで、それらをサポートする。

実験結果

リサーチクエスチョン

• RQ1 流体ベースのMIO定式化は、最適分類木学習における緩和の強度と収束速度を顕著に改善できるか？
• RQ2 双対性に基づくカットを用いたBenders分解は、最適意思決定木問題の解法をどの程度高速化できるか？
• RQ3 提案手法は、既存のMIOベースの手法と比較して、計算効率と汎化性能の両面で優れているか？
• RQ4 提案フレームワークは、付加制約を効果的に統合し、解釈可能で公平な意思決定木を生成できるか？
• RQ5 より強い定式化は、未知のデータに対する一般化性能の向上に寄与するか？

主な発見

• 提案された流体ベースのMIO定式化は、バイナリデータに対して既存手法よりも強い線形計画緩和を達成し、境界品質が向上する。
• 特化した部分問題の解法を用いたBenders分解アプローチにより、最適性ギャップが縮小され、収束が加速され、最先端のMIO技術と比較して平均29倍の高速化が達成された。
• 標準ベンチマークデータセット上では、既存の最適木手法と比較して、汎化性能が最大8%向上した。
• フレームワークは付加制約を効果的に統合でき、性能を損なうことなく、解釈可能で公平な意思決定木の構築が可能となった。
• house-votes-84、spect、breast-cancer、balance-scale、tic-tac-toe、car-evaluation、kr-vs-kpなど多様なデータセットにおいて、一貫した高速化と精度向上を示し、ロバスト性を示した。
• 部分問題の解法手順は、MIO実行可能領域の有効な顔を体系的に生成でき、マスタープロブレムを反復的に強化する。