[論文レビュー] The Optimal Dynamic Treatment Rule SuperLearner: Considerations, Performance, and Application

Lina Montoya, Mark van der Laan+4 more|arXiv (Cornell University)|Jan 29, 2021

Advanced Causal Inference Techniques参考文献 54被引用数 4

ひとこと要約

本稿では、柔軟かつパラメトリックなアルゴリズムを組み合わせて期待効果を最大化する個別化された治療ルールを推定する、アンサンブル機械学習手法である最適動的治療ルールスーパーラーナー（ODTR SuperLearner）を提案する。シミュレーションおよび犯罪司法分野のランダム化比較試験（RCT）における実世界の応用を通じて、特にフルなアルゴリズムライブラリ、連続メタラーナー、および結果に基づくリスク関数を用いる場合、従来のパラメトリックモデルに比べて治療効果の異質性をより効果的に捉えることができることを示している。

ABSTRACT

The optimal dynamic treatment rule (ODTR) framework offers an approach for understanding which kinds of patients respond best to specific treatments -- in other words, treatment effect heterogeneity. Recently, there has been a proliferation of methods for estimating the ODTR. One such method is an extension of the SuperLearner algorithm -- an ensemble method to optimally combine candidate algorithms extensively used in prediction problems -- to ODTRs. Following the "causal roadmap," we causally and statistically define the ODTR and provide an introduction to estimating it using the ODTR SuperLearner. Additionally, we highlight practical choices when implementing the algorithm, including choice of candidate algorithms, metalearners to combine the candidates, and risk functions to select the best combination of algorithms. Using simulations, we illustrate how estimating the ODTR using this SuperLearner approach can uncover treatment effect heterogeneity more effectively than traditional approaches based on fitting a parametric regression of the outcome on the treatment, covariates and treatment-covariate interactions. We investigate the implications of choices in implementing an ODTR SuperLearner at various sample sizes. Our results show the advantages of: (1) including a combination of both flexible machine learning algorithms and simple parametric estimators in the library of candidate algorithms; (2) using an ensemble metalearner to combine candidates rather than selecting only the best-performing candidate; (3) using the mean outcome under the rule as a risk function. Finally, we apply the ODTR SuperLearner to the "Interventions" study, an ongoing randomized controlled trial, to identify which justice-involved adults with mental illness benefit most from cognitive behavioral therapy (CBT) to reduce criminal re-offending.

研究の動機と目的

• 多様な患者サブグループにおける治療効果の異質性を考慮する、強固で柔軟な最適動的治療ルール（ODTR）推定手法の開発。
• 共変量と治療効果の間の複雑な相互作用を捉えることが難しい従来のサブグループ分析およびパラメトリックモデルの限界を克服すること。
• 認知行動療法（CBT）による再犯率の低減が、精神疾患を有する司法関与者において特に有効であるかどうかを特定することで、精密医療を支援すること。
• ライブラリ構成、メタラーナー選択、リスク関数選択を含む、ODTR SuperLearnerの実装に関する実用的ガイダンスを提供すること。
• 『Interventions』RCTのシミュレーションおよび実世界データを用いて、個別化された治療効果を推定する上で本手法が優れた性能を示すことを検証すること。

提案手法

• ODTR SuperLearnerは、最適動的治療ルールをアンサンブル推定器の集合を通じて推定することで、SuperLearnerアルゴリズムを因果推論に拡張したものである。
• 2段階のアプローチを採用する：まず、共変量に条件づけた治療効果（ブリップ関数）を推定し、次にそれらの推定値をメタラーナーによって組み合わせて最終的なルールを形成する。
• パラメトリックモデル（例：GLM）と柔軟な機械学習手法（例：ランダムフォレスト、lasso）を含む、候補アルゴリズムのライブラリを用いることで、モデルの適応性を向上させる。
• メタラーナーは、候補アルゴリズムの予測値を、選択のみ（離散的）または重み付き組み合わせ（連続的）のいずれかの方法で統合する。後者のアプローチがより優れた性能を示している。
• 最適な組み合わせを特定するためのリスク関数は、推定されたルール下での平均結果（$ R_{E[Y_d]} $）に基づく。これは、平均二乗誤差よりも治療ルールの真の性能をより的確に反映するためである。
• 因果的ロードマップに従い、未測定の交絡要因がないという仮定の下で、反事後的結果の一貫した推定が保証される。

実験結果

リサーチクエスチョン

• RQ1 ODTR SuperLearnerは、多様な共変量構造を持つ状況において、従来のパラメトリックモデルに比べて治療効果の異質性をどの程度うまく推定できるか？
• RQ2 候補アルゴリズムライブラリに柔軟な機械学習手法とパラメトリックモデルの両方を含めることで、ODTR推定性能にどのような影響を与えるか？
• RQ3 複数のアルゴリズムからの予測値を組み合わせる連続的メタラーナーを用いることで、単一の最良性能を示すアルゴリズムを選択するのと比較して、性能が向上するか？
• RQ4 平均二乗誤差とルール下での平均結果という2つのリスク関数の選択が、推定されたODTRの正確性にどのように影響するか？
• RQ5 実世界のランダム化比較試験（RCT）において、ODTR SuperLearnerは、精神疾患を有する司法関与者に対して、認知行動療法（CBT）が特に効果を示すサブグループを効果的に特定できるか？

主な発見

• ODTR SuperLearnerは、非線形相互作用を伴う複雑なデータ生成プロセスにおいて、従来のパラメトリックモデルに比べて治療効果の異質性を顕著に優れて推定している。
• 候補ライブラリに柔軟な機械学習アルゴリズムと単純なパラメトリック推定器の両方を含めることで、単一のタイプのみを用いる場合に比べ、より正確で頑健なODTR推定が可能になる。
• 複数のアルゴリズムからの予測値を組み合わせる連続的メタラーナーを用いることで、単一の最良性能アルゴリズムの選択よりも優れた性能が得られる。
• ルール下での平均結果（$ R_{E[Y_d]} $）をリスク関数として用いることで、平均二乗誤差よりも正確なODTR推定が可能になる。これは、治療ルールの期待結果を直接最適化するためである。
• 『Interventions』RCTにおいて、ODTR SuperLearnerは、物質使用が低い人々においてはCBTが再逮捕確率を低下させることを特定しており、この共変量に応じた差別の治療効果が示された。
• シミュレーションDGP 1では78%、DGP 2では75%の一致率を達成しており、多様なシナリオにおいて強固な実証的性能を示している。