[論文レビュー] Optimal Sparse Decision Trees

Xiyang Hu, Cynthia Rudin+1 more|arXiv (Cornell University)|Apr 29, 2019

Machine Learning and Data Classification参考文献 14被引用数 10

ひとこと要約

本論文は、解析的境界、カスタムデータ構造、およびビットベクタライブラリを用いて、実用的でかつ証明可能な最適性を達成する、最初の実用的アルゴリズムを提示する。このアルゴリズムは、ベンチマークおよびハイリスクデータセット（例：COMPAS、FICO）において、BinOCT や CART よりも優れた性能を発揮し、数万から数百万件のインスタンスを含む問題を、最適性またはほぼ最適性を証明しながら解ける。

ABSTRACT

Decision tree algorithms have been among the most popular algorithms for interpretable (transparent) machine learning since the early 1980's. The problem that has plagued decision tree algorithms since their inception is their lack of optimality, or lack of guarantees of closeness to optimality: decision tree algorithms are often greedy or myopic, and sometimes produce unquestionably suboptimal models. Hardness of decision tree optimization is both a theoretical and practical obstacle, and even careful mathematical programming approaches have not been able to solve these problems efficiently. This work introduces the first practical algorithm for optimal decision trees for binary variables. The algorithm is a co-design of analytical bounds that reduce the search space and modern systems techniques, including data structures and a custom bit-vector library. Our experiments highlight advantages in scalability, speed, and proof of optimality. The code is available at https://github.com/xiyanghu/OSDT.

研究の動機と目的

• 意思決定木アルゴリズムにおける長年の問題である非最適性（通常はグリーディで部分最適な手法）を解決すること。
• 2値特徴に対して、最適またはほぼ最適な意思決定木を保証するスケーラブルで効率的なアルゴリズムを開発すること。
• 刑事裁判や信用リスクなど、透明性と正確性が極めて重要なハイリスク分野で解釈可能なモデルの利用を可能にすること。
• 与えられたスパarsityレベルに対して、より良い木が存在しないことを証明する最適性の証明書を提供すること。
• 従来の数学的プログラミングや SAT に基づくアプローチにおけるスケーラビリティの限界を克服すること。

提案手法

• 解析的境界を用いて、最適意思決定木の探索空間を著しく削減する。
• 木の表現を葉のみに限定することで、計算を効率化し、対称性の利用を可能にする。
• 複数のデータポイントを並列に処理できるようにするため、カスタムビットベクタライブラリを採用して意思決定木の評価を高速化する。
• 迅速な探索ポリシーと計算再利用を統合し、重複計算を最小限に抑える。
• 精度と葉の数のバランスを取る正則化最適化問題として定式化し、特化した制約を備えた混合整数プログラミングフレームワークを用いる。
• アルゴリズム的技術とシステムレベル最適化（中間結果のための特別なデータ構造を含む）を共同で設計する。

実験結果

リサーチクエスチョン

• RQ1 数万から数百万件のインスタンスを含む実世界のデータセットに対して、証明可能な最適スパース意思決定木を求める実用的アルゴリズムを設計できるか？
• RQ2 解析的境界とシステム最適化は、従来の数学的プログラミングや SAT に基づくアプローチと比べて、速度とスケーラビリティにおいてどのように差をつけるか？
• RQ3 犯罪再犯や信用リスクといったハイリスク応用分野において、提案手法はグリーディ法やヒューリスティック法よりも優れた、またはより信頼性の高いモデルを生成するか？
• RQ4 証明可能な最適アルゴリズムで検証した場合、従来の研究で主張された最適性の主張は、どの程度妥当であるか？
• RQ5 境界、ビットベクタ評価、データ構造といったアルゴリズム的要素の中で、どの要素が多様なデータセットにおいて実行時間を最も顕著に短縮するか？

主な発見

• OSDTは、COMPAS および FICO データセットに対して、これまで他の手法が最適と主張していたが検証されていなかった、最初の証明可能な最適スパース意思決定木を発見した。
• Monk1 データセットでは、OSDTは3.390秒で最適な性能を達成したが、正則化された BinOCT は1時間経過しても終了しておらず、17倍の高速化が達成された。
• テストしたすべてのベンチマークデータセットにおいて、OSDTは精度面で CART や BinOCT を常に上回り、最適またはほぼ最適なスパarsityを維持した。
• ビットベクタ評価と計算再利用を含む実装最適化により、実行時間を97％削減した。
• 交差検証の実験では、同じスパarsityレベルにおいて、OSDTは CART や BinOCT よりも一貫して高い訓練精度を達成し、いくつかのデータセットでテスト精度の向上も見られた。
• アブレーションスタディの結果、解析的境界とビットベクタ評価が、異なるデータセットにおいて計算時間を短縮する上で最も顕著な影響を与えた。