[論文レビュー] Benchmarking Heterogeneous Treatment Effect Models through the Lens of Interpretability

Jonathan Crabbé, Alicia Curth+2 more|arXiv (Cornell University)|Jun 16, 2022

Advanced Causal Inference Techniques被引用数 6

ひとこと要約

本稿では、後処理特徴重要度を用いて異種処置効果（HTE）モデルを評価するためのITErpretabilityベンチマークを導入し、交絡の種類に応じてモデルの解釈可能性—特に予測的共変量の同定—が顕著に異なることを明らかにした。特に予測的交絡が帰属性能を最も著しく低下させることを特定した。一方、CFRNetのようなモデルにおけるバランス正則化は推定誤差の改善に寄与するが、解釈可能性を低下させる可能性があることが示された。

ABSTRACT

Estimating personalized effects of treatments is a complex, yet pervasive problem. To tackle it, recent developments in the machine learning (ML) literature on heterogeneous treatment effect estimation gave rise to many sophisticated, but opaque, tools: due to their flexibility, modularity and ability to learn constrained representations, neural networks in particular have become central to this literature. Unfortunately, the assets of such black boxes come at a cost: models typically involve countless nontrivial operations, making it difficult to understand what they have learned. Yet, understanding these models can be crucial -- in a medical context, for example, discovered knowledge on treatment effect heterogeneity could inform treatment prescription in clinical practice. In this work, we therefore use post-hoc feature importance methods to identify features that influence the model's predictions. This allows us to evaluate treatment effect estimators along a new and important dimension that has been overlooked in previous work: We construct a benchmarking environment to empirically investigate the ability of personalized treatment effect models to identify predictive covariates -- covariates that determine differential responses to treatment. Our benchmarking environment then enables us to provide new insight into the strengths and weaknesses of different types of treatment effects models as we modulate different challenges specific to treatment effect estimation -- e.g. the ratio of prognostic to predictive information, the possible nonlinearity of potential outcomes and the presence and type of confounding.

研究の動機と目的

• HTEモデルベンチマークにおいて解釈可能性の評価が不足しているという問題に取り組む。従来のベンチマークはPEHE指標に限定されている。
• 異なる種類の交絡（予後的、予測的、非交絡的）が、HTEモデルが真の予測的共変量を同定できる能力に与える影響を調査する。
• ブラックボックスHTE推定器における特徴重要度の体系的評価を可能にする、透明で準実験的なベンチマーク環境を構築する。
• CFRNetのようなモデルにおける既存の正則化技術（例：バランス正則化）が、推定精度の向上にもかかわらず、解釈可能性を向上させるか否かを評価する。
• 個人化処置効果推定における推定精度とモデル解釈性のトレードオフに関する新たな知見を提供する。

提案手法

• 真の予測的共変量（真値）が既知の透明なデータ生成プロセスを用いて準実験的データセットを構築する。
• ニューラルネットワークやCFRNetなどのブラックボックスHTE推定器を、その準実験的データ上で学習させ、条件付き平均処置効果（CATE）を推定する。
• LIME や SHAP などの後処理特徴重要度手法を用いて、各学習済みHTEモデルの予測を解釈する。
• 真の予測的共変量と上位ランクの特徴重要度スコアとの重複度を測る新しい指標、Attr_pred を定義する。
• 交絡の種類（予後的、予測的、非交絡的）と傾向スコアのスケールを系統的に変化させ、解釈可能性のロバストネスを評価する。
• Attr_pred（解釈可能性）とPEHE（推定精度）の両方を用いてモデル間の性能を比較し、トレードオフを明らかにする。

実験結果

リサーチクエスチョン

• RQ1 交絡の有無および種別（予後的、予測的、非交絡的）が、HTEモデルが真の予測的共変量を同定できる能力に与える影響は何か？
• RQ2 CFRNetのようなモデルにおけるバランス正則化が、推定精度の向上にもかかわらず、解釈性を向上または損なう程度はどの程度か？
• RQ3 さまざまな交絡設定下で、帰属スコア（特徴重要度）と推定誤差（PEHE）の相関関係はいかなるものか？
• RQ4 データ生成プロセスの透明性により、ブラックボックスHTEモデルにおける解釈可能性の信頼性あるベンチマークが可能になるか？
• RQ5 処置割り当てバイアスの程度が異なるデータセットで学習されたモデル間で、解釈性のパフォーマンスに体系的な差異が生じるか？

主な発見

• Attr_predで測定される帰属性能は、処置割り当てバイアスが高くなるに従い体系的に劣化し、特に予測的交絡下で顕著である。
• 性能劣化は予測的交絡下で最も顕著であり、処置群内での共変量の分散が減少することで、真の効果修正要因の学習が困難になる。
• 驚くべきことに、予後的交絡下ではAttr_pred性能が最も劣化しにくく、非予測的特徴への誤帰属を部分的に相殺する共変量の不均衡が寄与している。
• CFRNetのバランス正則化は、予測的交絡下でAttr_predに顕著な低下を引き起こし、推定精度と解釈性のトレードオフを示している。
• 予後的交絡下ではPEHEが改善されているにもかかわらず、Attr_pred性能は比較的安定しているため、バランス正則化が予後的成分の推定精度を低下させる可能性がある。
• ベンチマークにより、PEHEのみではHTEモデルの評価が不十分であることが判明した。同程度のPEHEを示すモデルでも、解釈性や特徴発見能力に顕著な差が生じる。