[論文レビュー] Causal Falling Rule Lists

Fulton Wang, Cynthia Rudin|arXiv (Cornell University)|Oct 18, 2015

Advanced Causal Inference Techniques参考文献 23被引用数 14

ひとこと要約

本稿では、解釈可能なif-thenルールの系列を用いて、単調に減少する処置効果を示すサブグループを特定するベイジアンモデル、因果的降下ルールリスト（CFRL）を提案する。モデル選択をベイジアン証拠最大化問題として定式化し、変分推論を用いることで、米国国勢調査賃金データセットにおける処置効果の非定型性を同定した。その結果、白人プロフェッショナル層において時給格差が最も顕著であり、職業、教育水準、雇用状況といったサブグループを経て低下する傾向が明らかになった。

ABSTRACT

A causal falling rule list (CFRL) is a sequence of if-then rules that specifies heterogeneous treatment effects, where (i) the order of rules determines the treatment effect subgroup a subject belongs to, and (ii) the treatment effect decreases monotonically down the list. A given CFRL parameterizes a hierarchical bayesian regression model in which the treatment effects are incorporated as parameters, and assumed constant within model-specific subgroups. We formulate the search for the CFRL best supported by the data as a Bayesian model selection problem, where we perform a search over the space of CFRL models, and approximate the evidence for a given CFRL model using standard variational techniques. We apply CFRL to a census wage dataset to identify subgroups of differing wage inequalities between men and women.

研究の動機と目的

• 木構造ベースの手法による処置効果の非定型性同定における解釈可能性と認知的負担を軽減すること。
• 有効性の順序付けられた、単調な順序を持つルールリストを通じて処置効果サブグループをランク付けするモデルの開発。
• 因果的ルールリストの発見をベイジアンモデル選択問題として定式化し、過剰適合を回避するとともに交差検証の必要性を排除すること。
• 実世界のデータ、特に性別による賃金格差に応用し、サブグループ固有の処置効果を解明すること。

提案手法

• 因果的降下ルールリスト（CFRL）は、特徴空間を処置効果が定数かつ単調に減少するサブグループに分割するif-thenルールの系列として定義される。
• 処置効果が各ルールで定義されるサブグループ内で一定であると仮定した階層ベイジアン回帰により、モデルがパrameter化される。
• モデル選択は、ベイジアン証拠（周辺尤度）を最大化することで実施され、パラメータの事後分布の近似には変分推論が用いられる。
• シミュレーテッド・アニーリングアルゴリズムを用いて、可能なルールリストの空間を探索し、追加、削除、またはルールの再順序付けを含む移動が実行される。
• 条件付き無視可能性を仮定し、反事後結果をモデル化するためのルービンの潜在的結果枠組みが使用される。
• 事後推論は変分推論により実施され、7,548人の個人と54個のバイナリ特徴を持つ賃金データセットに対してギブスサンプリングとの妥当性が検証された。

実験結果

リサーチクエスチョン

• RQ1 単調な処置効果を示すルールベースのモデルは、解釈可能かつ統計的に整合的な方法で、処置効果に差があるサブグループを同定できるか？
• RQ2 変分推論を用いたベイジアンモデル選択フレームワークは、貪欲な木構造ベースの手法に比べ、因果的サブグループの同定においてどのように改善をもたらすか？
• RQ3 CFRLは、既知のルールベースの非定型性を持つシミュレーテッドデータにおいて、真の処置効果構造をどの程度正確に回復できるか？
• RQ4 実世界の賃金データにおけるCFRLの事後推定処置効果は、傾向スコアマッチングなどの標準的手法と比較してどのように異なるか？

主な発見

• シミュレーテッド・アニーリング手順は、サンプルサイズが増加するにつれて真のCFRLモデルを効果的に回復した。真のモデルとの平均編集距離は減少した。
• 米国国勢調査賃金データセットにおいて、最高の証拠を持つCFRLモデルは、白人プロフェッショナル層が男性であるという処置効果が最大（5.49）であると特定した。次に、組合非加盟の工場労働者（3.93）が続く。
• 変分推論による事後推定処置効果は、ギブスサンプリングによる結果とよく一致しており、近似手法の正確性が裏付けられた。
• CFRLモデルの事後推定値は、処置効果の事前分布における単調性制約のため、傾向スコアマッチングの結果よりも一貫して高かった。
• モデルは、7つのサブグループにわたり処置効果が5.49から0.55へ単調に低下することを明らかにした。特に、高収入で白人かつプロフェッショナル層において、賃金格差が最も顕著に観察された。
• 本手法は、白人プロフェッショナル層や組合非加盟の工場労働者など、解釈可能で実行可能なサブグループを効果的に同定し、性別による賃金格差が最も顕著に現れる分野を特定した。