[論文レビュー] Estimation of Optimal Dynamic Treatment Assignment Rules under Policy Constraints

Shosei Sakaguchi|arXiv (Cornell University)|Jun 9, 2021

Advanced Causal Inference Techniques被引用数 4

ひとこと要約

本稿では、実験的または準実験的研究からのパネルデータを用いて、政策制約のもとで最適な動的処置ルールを推定するための動的経験的福祉最大化（DEWM）フレームワークを提案する。2つの推定手法—後退的インダクションと同時最適化—を導入し、$n^{-1/2}$-ミニマックス収束速度と有限標本における福祉レジームバウンドを達成する。また、時間的予算および能力制約への拡張も行われる。

ABSTRACT

Many policies involve dynamics in their treatment assignments, where individuals receive sequential interventions over multiple stages. We study estimation of an optimal dynamic treatment regime that guides the optimal treatment assignment for each individual at each stage based on their history. We propose an empirical welfare maximization approach in this dynamic framework, which estimates the optimal dynamic treatment regime using data from an experimental or quasi-experimental study while satisfying exogenous constraints on policies. The paper proposes two estimation methods: one solves the treatment assignment problem sequentially through backward induction, and the other solves the entire problem simultaneously across all stages. We establish finite-sample upper bounds on worst-case average welfare regrets for these methods and show their optimal $n^{-1/2}$ convergence rates. We also modify the simultaneous estimation method to accommodate intertemporal budget/capacity constraints.

研究の動機と目的

• 順次意思決定の文脈における最適な動的処置割り当てルールを推定する統計的フレームワークの開発を目的とする。
• 動的状況下で、過去の処置、結果、共変量に依存する非定型処置効果の課題に対処することを目的とする。
• 解釈可能性、公平性、予算制限などの外生的政策制約を、動的処置レジームの推定に組み込むことを目的とする。
• 提案された推定手法の有限標本における福祉レジームバウンドとミニマックス収束速度を確立することを目的とする。
• 経験的福祉最大化（EWM）手法を、パネルデータを用いた動的で複数段階の処置問題に拡張することを目的とする。

提案手法

• 事前に指定された実行可能な動的処置ルール（DTR）のクラス上で経験的福祉を最大化する動的経験的福祉最大化（DEWM）アプローチを採用する。
• 2つの推定戦略を提案する：後退的インダクションは最終段階から最初の段階へ段階的に処置選択問題を解き、同時に最適化は全段階のDTR推定問題を一度に解く。
• 実験的および観察的データにおける処置割り当てメカニズムを反映させるために、経験的福祉目的関数でプロパティススコア加重出力を利用する。
• DTR推定問題を混合整数線形計画法（MILP）として表現し、線形資格基準制約の下で標準的な最適化ソルバーを用いて計算を可能にする。
• 開始／停止タイミングやワンショット処置ルールなどの政策制約を、MILP定式化に線形制約を追加することで統合する。
• 時間的予算または能力制約を、MILPに追加の線形制約を導入することで、同時DEWM手法に拡張し、リソース制限を尊重する。

実験結果

リサーチクエスチョン

• RQ1 順次的で非定型の処置効果と観察された共変量を伴う状況において、最適な動的処置ルールはどのように推定可能か？
• RQ2 政策制約下での動的処置ルール推定における有限標本のパフォーマンス保証（具体的には福祉レジームバウンド）は何か？
• RQ3 後退的インダクションと同時最適化手法は、統計的効率性と計算可能性の観点でどのように比較できるか？
• RQ4 DEWMフレームワークは、予算制限や処置期間制限などの現実の政策制約を組み込むためにどのように適合可能か？
• RQ5 正規性条件のもとで、提案された推定量のミニマックス収束速度は何か？

主な発見

• 提案されたDEWM手法は、標準的な正規性条件のもとで、$n^{-1/2}$-ミニマックス収束速度を達成しており、最適な統計的効率性を示している。
• 最悪ケース平均福祉レジームの有限標本上界が導出され、推定されたDTRのパフォーマンスに対する理論的保証が得られた。
• 後退的インダクション手法は、将来の処置効果を考慮する再帰的解法経路を提供し、長期的福祉最適化を改善する。
• 同時推定手法は、全段階にわたる統合最適化を可能にし、異なる時点での処置意思決定の複雑な相互作用を捉える。
• MILP定式化により、開始／停止タイミングやワンショット処置ルールを含むさまざまな政策制約のもとで、最適DTRの効率的計算が可能になった。
• 予算または能力制約の同時DEWMフレームワークへの組み込みは、MILPに追加の線形制約を導入することで実現され、計算の tractability（取り扱いやすさ）を維持した。