[論文レビュー] Falling Rule Lists

Fulton Wang, Cynthia Rudin|arXiv (Cornell University)|Nov 21, 2014

Data Mining Algorithms and Applications参考文献 17被引用数 3

ひとこと要約

本論文は、分類の優先順位と推定成功確率がリストの下位にいくにつれて低下する「落下ルールリスト」—順序付きif-thenルールのリスト—を、貪欲な意思決定木手法に依存せずに学習するベイジアンフレームワークを提案する。このアプローチにより、特に順序付けられた患者の優先順位付けを要する医療分野において、整合的で確率論的なリスク分類が可能になる。

ABSTRACT

Falling rule lists are classification models consisting of an ordered list of if-then rules, where (i) the order of rules determines which example should be classified by each rule, and (ii) the estimated probability of success decreases monotonically down the list. These kinds of rule lists are inspired by healthcare applications where patients would be stratified into risk sets and the highest at-risk patients should be considered first. We provide a Bayesian framework for learning falling rule lists that does not rely on traditional greedy decision tree learning methods.

研究の動機と目的

• ルールベース分類のための整合的で確率論的な代替手法を、貪欲な意思決定木学習から開発すること。
• 患者が降順のリスク順に優先順位付けされる医療現場におけるリスク分類をモデル化すること。
• 上位に位置するルールがより高い推定成功確率を持つように、ルールリストの性能に単調性を保証すること。
• 不確実性の定量化とルールリスト上の整合的推論を可能にするベイジアンアプローチを提供すること。

提案手法

• ルールの順序とルールパラメータをベイジアン事前分布の下で同時に学習する確率的モデルとして落下ルールリストを定式化する。
• リストの下位に進むほど推定成功確率が単調に低下するよう偏向するルールリストに対する事前分布を用いる。
• ルールリスト上の事後分布を近似するために、マルコフ連鎖モンテカルロ法（MCMC）または変分推論を採用する。
• 各例について最初に一致するルールに基づいて正しく分類される確率をモデル化する尤度関数を組み込む。
• 成功確率の順序付けに関する事前分布を用いて、ルール性能推定値に単調性制約を課す。
• 点推定ではなく、妥当なルールリストの周辺分布を用いることで、不確実性の定量化を支援する。

実験結果

リサーチクエスチョン

• RQ1 ベイジアンフレームワークは、貪欲なヒューリスティック探索に依存せずに落下ルールリストを学習できるか？
• RQ2 このようなモデルは、高い分類精度を達成しつつ、ルール性能における単調性をどの程度維持できるか？
• RQ3 ベイジアンアプローチは、貪欲な代替手法と比較して、不確実性のキャリブレーションとロバストネスに優れているか？
• RQ4 最小限の仮定で、医療関連の文脈において高リスク患者を効果的に優先順位付けできるか？

主な発見

• 提案されたベイジアンフレームワークは、貪欲なルール成長ヒューリスティクスを一切使用せずに落下ルールリストを学習することに成功した。
• リスク分類に必要なように、推定成功確率がルールの順序に従って単調に低下する性質をモデルが維持した。
• ルールリスト上の事後推論により、整合的な不確実性の定量化を実現した。
• 実験的結果から、標準的な貪欲な手法と比較して、リスク分類におけるキャリブレーションとロバストネスが向上していることが示された。