[論文レビュー] Learning Optimized Risk Scores

Berk Ustun, Cynthia Rudin|arXiv (Cornell University)|Oct 1, 2016

Health Systems, Economic Evaluations, Quality of Life参考文献 114被引用数 8

ひとこと要約

本稿では、リスクスコア学習を混合整数非線形計画問題（MINLP）として定式化することで、最適な性能を示し、キャリブレーションされ、スパースで整数係数を持つモデルを生成する機械学習フレームワークRiskSLIMを提案する。新規の切断平面アルゴリズム（LCPA）を用いることで、データサイズに線形にスケーリングする証明可能な最適解を達成し、実世界のICUてんかん予測およびベンチマークデータセットにおいて、ヒューリスティック手法を上回るキャリブレーションとAUC性能を示した。

ABSTRACT

Risk scores are simple classification models that let users make quick risk predictions by adding and subtracting a few small numbers. These models are widely used in medicine and criminal justice, but are difficult to learn from data because they need to be calibrated, sparse, use small integer coefficients, and obey application-specific operational constraints. In this paper, we present a new machine learning approach to learn risk scores. We formulate the risk score problem as a mixed integer nonlinear program, and present a cutting plane algorithm for non-convex settings to efficiently recover its optimal solution. We improve our algorithm with specialized techniques to generate feasible solutions, narrow the optimality gap, and reduce data-related computation. Our approach can fit risk scores in a way that scales linearly in the number of samples, provides a certificate of optimality, and obeys real-world constraints without parameter tuning or post-processing. We benchmark the performance benefits of this approach through an extensive set of numerical experiments, comparing to risk scores built using heuristic approaches. We also discuss its practical benefits through a real-world application where we build a customized risk score for ICU seizure prediction in collaboration with the Massachusetts General Hospital.

研究の動機と目的

• スパarsity、整数係数、キャリブレーションといった実世界の制約を満たすリスクスコアを構築するための体系的でデータ駆動型の手法の欠如に対処すること。
• リスクスコア開発におけるヒューリスティックパイプラインやエキスパートチューニングへの依存を排除し、しばしば劣悪な性能やキャリブレーション不良を引き起こすモデルを回避すること。
• パrameterチューニングや後処理を必要とせず、アプリケーション固有の運用制約を尊重しながら最適性を保証するワンショットトレーニング手順を提供すること。
• 正確性と解釈可能性を維持したまま、大規模データセットへのリスクスコア学習のスケーリングを実現すること。
• ICUてんかん予測のようなハイリスク分野における最適リスクスコアの実用的価値を実証すること。

提案手法

• リスクスコア学習を、キャリブレーションとAUCのためのロジスティック損失を最小化し、スパarsityのためのℓ₀ノルムをペナルティ化し、係数を小さな整数に制限する混合整数非線形計画問題（MINLP）として定式化する。
• 非凸なMINLPを効率的に解くための新規な切断平面アルゴリズム（LCPA）を導入し、サンプル数に線形にスケーリングする性能を実現する。
• 妥当な解の生成、最適性ギャップの縮小、データ依存の計算オーバーヘッドの低減のための専用技術を採用する。
• 非凸性を扱い、単調性や整数係数などの制約を強制するために、ラージ制約生成を用いたブランチアンドカットアプローチを採用する。
• 定義された探索空間内で解がグローバルに最適であることを証明する最適性の証明書を組み込む。
• 実世界のデータセット（ICUてんかん予測など）にフレームワークを適用し、パrameterチューニングや後処理を一切必要としない。

実験結果

リサーチクエスチョン

• RQ1 体系的で最適化に基づくデータ駆動型のアプローチは、実世界の制約を満たすリスクスコアを学習する際、ヒューリスティック手法を上回ることができるか？
• RQ2 サンプル数に線形時間計算量でスケーリング可能な混合整数非線形計画問題を、リスクスコア学習の文脈で効率的に解くことができるか？
• RQ3 提案手法は、高い精度と解釈可能性を備えたリスクスコアを生成し、最適性が保証されるか？
• RQ4 整数係数や単調性といったアプリケーション固有の制約は、モデル性能にどのように影響を与え、体系的に強制可能か？
• RQ5 このフレームワークは、ICUてんかん予測のような実世界の臨床問題に、既存手法を上回る測定可能な改善をもたらすために適用可能か？

主な発見

• LCPAアルゴリズムにより、実世界のデータセット上でRiskSLIMモデルを数分でトレーニング可能であり、サンプルサイズに線形にスケーリングされ、最適性の証明書が提供される。
• ICUてんかん予測データセットでは、5分割交差検証の平均テストキャリブレーションが2.5%、AUCが0.801に達し、ヒューリスティックベースラインを上回った。
• フレームワークは、100%のスパarsity（2つの特徴のみ使用）と整数係数を持つリスクスコアを生成し、高い予測性能を維持した。
• 信頼性図とROC曲線から、リスクレベルにわたって最小限のキャリブレーション誤差を示し、良好なキャリブレーションと識別力が確認された。
• すべてのベンチマークデータセットで、ヒューリスティックアプローチを上回るキャリブレーションとAUC性能を示し、パrameterチューニングや後処理を一切必要としなかった。
• フレームワークにより、ドメインエキスパートが性能の保証された境界を備えたリスクスコアをカスタマイズ可能となり、アドホックな開発への依存が軽減された。