[論文レビュー] Learning to Personalize Treatments When Agents Are Strategic.

Evan Munro|arXiv (Cornell University)|Nov 12, 2020

Advanced Causal Inference Techniques参考文献 20被引用数 6

ひとこと要約

本稿では、観察された共変量における戦略的行動を考慮した動的実験を提案し、個々のインcentiveに関するパrametric仮定を一切設けずに線形の後悔減少を達成する。共変量が治療ルールに内生的である状況では、標準的なリスク最小化よりも優れている。

ABSTRACT

There is increasing interest in allocating treatments based on observed individual data: examples include heterogeneous pricing, individualized credit offers, and targeted social programs. Policy targeting introduces incentives for individuals to modify their behavior to obtain a better treatment. We show standard risk minimization-based estimators are sub-optimal when observed covariates are endogenous to the treatment allocation rule. We propose a dynamic experiment that converges to the optimal treatment allocation function without parametric assumptions on individual strategic behavior, and prove that it has regret that decays at a linear rate. We validate the method in simulations and in a small MTurk experiment.

研究の動機と目的

• 観察された共変量が治療ルールに内生的である場合に、標準的なリスク最小化がパーソナライズド治療割り当てにおいて非最適となる問題に対処すること。
• 個人による戦略的操作にかかわらず、最適な治療割り当て関数に収束する手法を開発すること。
• 提案手法が後悔が線形速度で減少することを証明し、時間の経過とともに効率的な学習が達成されることを示すこと。
• シミュレーションおよび小規模なMTurk実験を通じて、手法の有効性を検証すること。

提案手法

• 本手法は、観察された結果と個人の反応に基づいて反復的に治療割り当てを調整する動的実験を採用する。
• 非パラメトリック推定を用いて、戦略的行動の具体的な関数形を仮定せずに最適な治療関数を学習する。
• 逐次的実験を通じて共変量の内生性を考慮することで、最適な治療ポリシーへの収束を保証する。
• 探索と活用のバランスを戦略的反応に適応させる形で、後悔を最小化する。
• 個々のインcentiveのパラメトリックモデルを必要とせず、内生性補正を施した経験的リスク最小化に依存する。
• 理論的分析により、後悔が線形速度で減少することを証明し、最適な割り当てへの高速収束を示している。

実験結果

リサーチクエスチョン

• RQ1 観察された共変量における戦略的行動は、パーソナライズド治療割り当てにおける標準的リスク最小化の性能にどのように影響を与えるか？
• RQ2 個々の戦略的反応のパラメトリックモデルを仮定せずに、動的実験が最適な治療割り当て関数に収束できるか？
• RQ3 治療割り当てにおいて共変量が内生的である場合に、学習アルゴリズムの後悔減少速度はどの程度か？
• RQ4 戦略的行動を考慮する場合、提案手法は標準的推定器と比較してどのように異なるか？
• RQ5 本手法は、シミュレーションおよび現実世界の実験設定の両方でどの程度検証可能か？

主な発見

• 提案された動的実験は、後悔が線形速度で減少することを達成し、最適な治療ポリシーへの高速収束を示している。
• 共変量が治療ルールに内生的である場合、戦略的操作のため、標準的なリスク最小化に基づく推定器は非最適となる。
• 本手法は、個々の戦略的行動に関するパラメトリック仮定を必要とせず、最適な治療割り当て関数に収束する。
• シミュレーションにより、戦略的行動下で本手法がベースライン手法を上回ることを確認した。
• 小規模なMTurk実験により、現実世界の設定でも本手法の有効性が実証された。