[論文レビュー] Causal Rule Sets for Identifying Subgroups with Enhanced Treatment Effect

Tong Wang, Cynthia Rudin|arXiv (Cornell University)|Oct 16, 2017

Advanced Causal Inference Techniques参考文献 53被引用数 7

ひとこと要約

本稿では、モデルの適合度と複雑さのバランスを最適化するグローバルな目的関数を最適化することで、短い意思決定ルールの少数を用いて解釈可能なサブグループを発見する、ベイジアンでグリーディでない機械学習フレームワーク、因果ルール集合（CRS）を紹介する。CRSは、グリーディな木ベースの手法や最先端のルールベースのモデルを上回り、多様な実世界のデータセットにおいて優れた治療効果効率フロンティアを達成する。

ABSTRACT

A key question in causal inference analyses is how to find subgroups with elevated treatment effects. This paper takes a machine learning approach and introduces a generative model, Causal Rule Sets (CRS), for interpretable subgroup discovery. A CRS model uses a small set of short decision rules to capture a subgroup where the average treatment effect is elevated. We present a Bayesian framework for learning a causal rule set. The Bayesian model consists of a prior that favors simple models for better interpretability as well as avoiding overfitting, and a Bayesian logistic regression that captures the likelihood of data, characterizing the relation between outcomes, attributes, and subgroup membership. The Bayesian model has tunable parameters that can characterize subgroups with various sizes, providing users with more flexible choices of models from the \emph{treatment efficient frontier}. We find maximum a posteriori models using iterative discrete Monte Carlo steps in the joint solution space of rules sets and parameters. To improve search efficiency, we provide theoretically grounded heuristics and bounding strategies to prune and confine the search space. Experiments show that the search algorithm can efficiently recover true underlying subgroups. We apply CRS on public and real-world datasets from domains where interpretability is indispensable. We compare CRS with state-of-the-art rule-based subgroup discovery models. Results show that CRS achieved consistently competitive performance on datasets from various domains, represented by high treatment efficient frontiers.

研究の動機と目的

• 観察データにおけるサブグループを同定し、一般集団と比較して治療効果が顕著に高いことを確認すること。
• 特徴量の相互作用に関する事前仮説に依存せずに、このようなサブグループを発見する手法を開発すること。
• 短い意思決定ルールの少数を用いることで解釈性を向上させるとともに、過剰適合を回避すること。
• グローバルな治療効果の目的関数を最適化できないグリーディな再帰的分割手法の限界を克服すること。
• モデルの単純さと予測性能のバランスを取る、柔軟で原理的根拠のあるサブグループ発見フレームワークを提供すること。

提案手法

• CRSは、単純かつスパースなルール集合を好む事前分布とベイジアンロジスティック回帰を組み合わせたベイジアン生成モデルを採用する。
• ルール集合とパラメータの共同事後分布を用い、反復的離散モンテカルロ手順による最尤事後確率（MAP）推定を実行する。
• 理論的根拠に基づくヒューリスティクスとバウンディング戦略を用いて探索空間を刈り込むことで、計算効率を向上させる。
• ルールは論理和標準形（DNF）で結合され、単一ルールモデルよりも非長方形・不規則なサブグループ形状をより正確に捉えることができる。
• サブグループのサイズと複雑さを制御できる調整可能なパラメータをサポートし、治療効果効率フロンティアに沿った探索が可能になる。
• ベイジアンロジスティック回帰部は、共変量、治療、サブグループ参加状況の間の関係を捉える潜在的結果をモデリングする。

実験結果

リサーチクエスチョン

• RQ1 非グリーディでグローバルに最適化されたルール集合モデルは、治療効果が高めのサブグループを同定する点で、グリーディな木ベースの手法を上回ることができるか？
• RQ2 スパース性を促進する事前分布を備えたベイジアンフレームワークは、サブグループ発見における解釈性の向上と過剰適合の低減にどの程度寄与するか？
• RQ3 ルール集合モデルは、単一ルールモデルや木ベースのモデルと比較して、複雑で非長方形のサブグループ形状をどの程度正確に捉えることができるか？
• RQ4 提案手法は、最先端のルールベースおよび木ベースのベースラインと比較して、治療効果効率フロンティアでより優れたパフォーマンスを達成するか？
• RQ5 解釈性が不可欠な高リスク分野、例えば個別化医療やターゲティング広告のような実世界の分野に、本手法は効果的に応用可能か？

主な発見

• CRSは多様なデータセットで一貫した優れたパフォーマンスを示し、高い治療効果効率フロンティアを達成しており、治療効果とサブグループサイズの間の良好なトレードオフが示された。
• 医療クラウドファンディングデータセットでは、CRSが平均治療効果（ATE）6%のサブグループを同定した。これは、VTR（ATE = 0.02）やSIDES（ATE = 0.03）といったベースラインを上回った。
• 合成実験において、CRSは真の潜在的サブグループを正確に回復し、サブグループ同定の耐障害性と正確性を示した。
• 単一ルールモデルでは表現できない複雑なサブグループ形状（例：弧状の分布）を、複数のルールを用いて効果的に捉えた。
• バウンディングおよびヒューリスティクス戦略のおかげで、ルール集合空間のスケーラブルな探索が可能となり、探索効率が顕著に向上した。
• 医療クラウドファンディングデータセットにおいて、QUINTはサブグループを同定できなかったが、CRSは高いサポート（48.9%）と正のATEを持つ意味のある解釈可能なルール集合を同定した。