[論文レビュー] Supersparse Linear Integer Models for Predictive Scoring Systems

Berk Ustun, Stefano Tracà+1 more|arXiv (Cornell University)|Jun 25, 2013

Fuzzy Systems and Optimization参考文献 15被引用数 9

ひとこと要約

本稿では、二値分類のための高解釈性でスパースなスコアリングシステムを生成する混合整数プログラミング手法であるSupersparse Linear Integer Models (SLIM)を紹介する。SLIMは、正解率、スパarsity（L0ノルムによる）、係数の解釈可能性（L1ノルムによる）を最適化し、標準的な機械学習手法と同等またはそれを上回る正解率を達成しながらも、人間が読みやすく、臨床的および政策的応用に適したモデルを生成する。

ABSTRACT

We introduce Supersparse Linear Integer Models (SLIM) as a tool to create scoring systems for binary classification. We derive theoretical bounds on the true risk of SLIM scoring systems, and present experimental results to show that SLIM scoring systems are accurate, sparse, and interpretable classification models.

研究の動機と目的

• 医学および社会科学分野における解釈性のあるスコアリングシステムを構築するための形式的で最適な手法の不足に対処すること。
• スパースで整数係数を持つモデルを生成する手法を開発し、実務家が使いやすいものとすること。
• Lasso やエラスティックネットといった既存手法の制限を克服すること。これらは整数係数を強制しないか、最適なスパarsityを保証しない。
• モデルの正解率、スパarsity、解釈可能性を統合的に最適化する1つのMIP定式化による形式的最適化フレームワークを提供すること。
• SLIMが最先端の機械学習アルゴリズムと同等の正解率を達成しながらも、高い解釈性を維持できることを実証すること。

提案手法

• SLIMは、訓練誤差、係数のL0ノルム（スパarsityのため）、L1ノルム（小さな整数係数のため）を最小化する混合整数計画問題（MIP）として定式化する。
• MIPでは、誤分類されたインスタンスを示すバイナリ変数 αi、非ゼロ係数を示すバイナリ変数 βj、係数の絶対値を表す連続変数 γj を使用する。
• 論理的関係を強制する制約を設ける：予測が誤りの場合 αi = 1、λj ≠ 0 の場合 βj = 1、かつ γj = |λj| となる。
• 係数 λj は有界集合 L 内の整数値に制約され、デフォルトで Λ = 100 が使用され、必要に応じて1桁の有効数字に制限可能。
• 分類ルール ŷ = sign(xᵀλ) における符号関数をモデル化するために、ビッグMおよびイプシロン制約を用いる。
• 本手法はCPLEX 12.5を用いて実装されており、最大約10,000件の例と約100の特徴量のデータセットにスケーリング可能である。

実験結果

リサーチクエスチョン

• RQ1 形式的最適化フレームワークは、高精度かつ最大限に解釈可能なスコアリングシステムを生成できるか？
• RQ2 グリーディな特徴選択や非整数係数を回避する最適な方法で、整数係数かつスパースな線形モデルを生成できるか？
• RQ3 ロジスティック回帰、ランダムフォレスト、SVMといった標準的な機械学習モデルと比較して、SLIMの正解率とスパarsityはどの程度か？
• RQ4 SLIMは医療や刑事司法分野といった実世界の分野で実用的に使用可能なモデルを生成できるか？
• RQ5 SLIMモデルの一般化性能について、理論的な保証を提供できるか？

主な発見

• SLIMは、UCIの6つのデータセットと1つの実世界の犯罪データセットにおいて、SVM やランダムフォレスト、ロジスティック回帰といった最先端のモデルと同等またはそれ以上のテスト誤差率を達成した。
• 乳癌データセットでは、SLIMは非ゼロ係数が3つしかない状態で3.7%の誤差率を達成し、最良の性能を示すモデルと同等の精度を維持しながらも、完全に解釈可能なままであった。
• 暴行犯罪データセットでは、SLIMは非ゼロ係数が9つしかない状態で20.1%の誤差率を達成し、C5.0 や CART よりもスパarsityに優れていたが、正解率は競争力を持っていた。
• SLIMは整数係数 {-10, 9, -9, -1} を持つ3特徴のスコアリングシステムを生成し、臨床的または政策的用途での容易な使用を可能にした。
• 理論的境界では、SLIMモデルの真のリスクが、標準的な仮定の下でその経験的リスクによってきわめて厳密に制御されることを示した。
• 特徴が離散的である場合、SLIMモデルは意思決定木として可視化可能であり、政策的および医療的文脈での解釈性を向上させる。