[論文レビュー] An Optimization Approach to Learning Falling Rule Lists

Chaofan Chen, Cynthia Rudin|arXiv (Cornell University)|Oct 6, 2017

Data Mining Algorithms and Applications参考文献 1被引用数 9

ひとこと要約

本稿では、モンテカルロ探索と境界を用いた探索空間の効率的 pruning を通じて、解釈可能で単調性を満たす二値分類のための確率的決定木（falling rule lists）を最適化ベースで学習する手法を提案する。この手法は、ベイジアン手法と同等の高影響度のルールを特定するが、より速い学習収束を達成し、bank-full データセット上で少ないイテレーション数で成功を示した。

ABSTRACT

A falling rule list is a probabilistic decision list for binary classification, consisting of a series of if-then rules with antecedents in the if clauses and probabilities of the desired outcome ("1") in the then clauses. Just as in a regular decision list, the order of rules in a falling rule list is important -- each example is classified by the first rule whose antecedent it satisfies. Unlike a regular decision list, a falling rule list requires the probabilities of the desired outcome ("1") to be monotonically decreasing down the list. We propose an optimization approach to learning falling rule lists and "softly" falling rule lists, along with Monte-Carlo search algorithms that use bounds on the optimal solution to prune the search space.

研究の動機と目的

• 単調に減少する予測確率を強制する falling rule lists を効率的に学習する最適化フレームワークの開発。
• 特に単調性制約を伴うルールリスト学習の課題に取り組み、グリーディ法やベイジアン手法では取り扱いにくい問題に対処すること。
• 既存のベイジアン手法と比較して、トレーニング速度とスケーラビリティを向上させつつ、ルールリストの解釈可能性を維持すること。
• 単調性制約の緩和を制御可能にする「ソフトに下がる（softly falling）」ルールリストという新概念を導入すること。
• 実世界のデータセット（例：bank-full）において、高影響度で解釈可能なルールを同定できるかを実証的に検証すること。

提案手法

• falling rule lists を単調に減少する予測確率を持つ確率的決定木として形式化する。
• 最適解の境界を用いて探索空間をプルーニングするモンテカルロ探索手法である Algorithm FRL を提案する。
• 目的関数にペナルティ項を導入することで、厳密な単調性制約を緩和した「ソフトに下がる」ルールリストを導入する。
• 計算コストを低減するため、境界に基づくプルーニング戦略を採用し、探索の効率を向上させる。
• 最適化目的関数において、正例クラスの重み付け（例：w=7）を用いて、レアな正例の結果を優先する。
• 同じ条件下で、ベイジアン学習と比較するため、bank-full データセットに本手法を適用する。

実験結果

リサーチクエスチョン

• RQ1 単調性制約を満たしつつ解釈可能性を維持する最適化フレームワークは、falling rule lists の学習に効果的に機能するか？
• RQ2 収束速度とルール品質の観点から、提案手法の最適化アプローチはベイジアン学習と比べてどのように差がつくか？
• RQ3 学習された falling rule lists は、異なる実行回数や手法間で一貫性を持って高影響度の条件を特定できるか？
• RQ4 「ソフトに下がる」ルールリストの概念は、解釈可能性を損なわずにモデルの柔軟性を向上させられるか？
• RQ5 境界に基づくプルーニング戦略は、探索空間の探索時間に顕著な短縮効果をもたらすか？

主な発見

• 最適化ベースの Algorithm FRL は、ベイジアン手法よりも速い学習収束を達成し、3000イテレーションでベイジアン手法（6000イテレーション）と同一の上位ルールを同定した。
• 複数回の実行において、ベイジアン手法と最適化手法の両方が同じ上位4つのルールを同定しており、高影響度の条件の一貫した発見が示された。
• w=7 を用いた最適化による falling rule list では、poutcome=success かつ housing=no のクライアントに対して上位ルールの確率が 0.70 に達した。
• poutcome=success かつ previous≥2 の場合に 0.55 の成功確率を持つルールを同定し、稀だが重要な事象への感受性を示した。
• 「ソフトに下がる」ルールリストの概念は新規であり、単調性制約の緩和を制御可能にすることで、解釈可能性を損なわずモデルの適合性を向上させた。
• 境界に基づくプルーニング戦略により探索空間が顕著に削減され、ルールリスト構造の効率的探索が可能になった。