[論文レビュー] Learning Certifiably Optimal Rule Lists for Categorical Data

Elaine Angelino, Nicholas Larus-Stone+3 more|arXiv (Cornell University)|Apr 6, 2017

Bayesian Modeling and Causal Inference参考文献 38被引用数 108

ひとこと要約

本論文は CORELS を紹介する。カテゴリカルデータのための、証明可能に最適で、疎かつ解釈可能なルールリストを構築する分岐限定探索アルゴリズムであり、最適性の証明書を伴う。

ABSTRACT

We present the design and implementation of a custom discrete optimization technique for building rule lists over a categorical feature space. Our algorithm produces rule lists with optimal training performance, according to the regularized empirical risk, with a certificate of optimality. By leveraging algorithmic bounds, efficient data structures, and computational reuse, we achieve several orders of magnitude speedup in time and a massive reduction of memory consumption. We demonstrate that our approach produces optimal rule lists on practical problems in seconds. Our results indicate that it is possible to construct optimal sparse rule lists that are approximately as accurate as the COMPAS proprietary risk prediction tool on data from Broward County, Florida, but that are completely interpretable. This framework is a novel alternative to CART and other decision tree methods for interpretable modeling.

研究の動機と目的

• 最適性証明書を伴う正則化された経験的リスクを最小化するルールリストを学習する枠組みを開発する。
• 効率的な厳密最適化のために探索空間を剪定する境界とデータ構造を提供する。
• 疎で解釈可能なルールリストが実データセット上で貪欲法と同等またはそれを上回ることを示す。
• 刑事司法問題（COMPAS）および NYPD の stop-and-frisk データへの適用性を示す。

提案手法

• ルールリストモデルと正則化目的関数 R(d, x, y) = loss(d, x, y) + lambda * K を定義する。ここで K はルールの数である。
• 階層的な目的下界を用いて探索空間を剪定する、特化した分岐限定探索アルゴリズム CORELS を開発する。
• プレフィックス木（トライ木）を用いてルールリストを管理し、ルールの置換同値性を利用する対称性対応マップを適用する。
• 下界（定理1）を証明し、剪定のための複数の下界を導出する：最小サポート、精度要件、置換剪定（定理10–15, 20）。
• プレフィックス長の上界と列挙戦略を提供して探索を制限し、数秒で最適解と数分以内に証明書を実現可能にする。

実験結果

リサーチクエスチョン

• RQ1 正則化されたリスクに関して証明可能に最適なカテゴリカルデータ上のルールリストを構築できるか。
• RQ2 解釈可能なルールリストのためのスケーラブルで厳密な最適化を可能にする境界とデータ構造技術は何か。
• RQ3 実データセット上で証明可能に最適なルールリストは貪欲法（CART, C4.5）とどう比較されるか。
• RQ4 解釈可能で疎なルールリストは精度の点で企業秘密のブラックボックスモデルと競争力があるか。
• RQ5 この枠組みは刑事司法データセット（COMPAS、stop-and-frisk）に適用して透明なリスク予測を得られるか。

主な発見

• CORELS は高度に剪定された探索戦略を用いて、最適性の証明書を伴う証明可能に最適なルールリストを実現する。
• このアルゴリズムは公開データセット上で CART および C4.5 に対してアウトオブサンプル精度が競争力があるか優れている。
• CORELS が見つける最適ルールリストは疎で解釈可能であり、敏感な領域での実用的な利用を可能にする。
• COMPAS および NYPD/NYCLU stop-and-frisk データにおいて、CORELS はより不透明な方法と同等の精度で解釈可能なルールリストを生成する。
• 実装は、最適で解釈可能なモデルが複雑な予測子に近い、あるいは同等でありつつ透明性を保てることを示している。