[論文レビュー] Adaptive Experimental Design for Efficient Treatment Effect Estimation: Randomized Allocation via Contextual Bandit Algorithm.

Masahiro Kato, Takuya Ishihara+2 more|arXiv (Cornell University)|Feb 13, 2020

Advanced Bandit Algorithms Research被引用数 4

ひとこと要約

本稿では、逐次的データとマルティンググール理論を活用して、平均処置効果（ATE）推定量の漸近的分散を最小化するように、処置割り当て確率をリアルタイムで最適化する、文脈的バンディットアルゴリズムを用いた適応的実験設計を提案する。標準的な無作為化比較試験（RCTs）に比べ、特に有限標本において推定効率が向上し、実証的結果は特定の状況下で優れた性能を示している。

ABSTRACT

Many scientific experiments have an interest in the estimation of the average treatment effect (ATE), which is defined as the difference between the expected outcomes of two or more treatments. In this paper, we consider a situation called adaptive experimental design where research subjects sequentially visit a researcher, and the researcher assigns a treatment. For estimating the ATE efficiently, we consider changing the probability of assigning a treatment at a period by using past information obtained until the period. However, in this approach, it is difficult to apply the standard statistical method to construct an estimator because the observations are not independent and identically distributed. In this paper, to construct an efficient estimator, we overcome this conventional problem by using an algorithm of the multi-armed bandit problem and the theory of martingale. In the proposed method, we use the probability of assigning a treatment that minimizes the asymptotic variance of an estimator of the ATE. We also elucidate the theoretical properties of an estimator obtained from the proposed algorithm for both infinite and finite samples. Finally, we experimentally show that the proposed algorithm outperforms the standard RCT in some cases.

研究の動機と目的

• 処置割り当てが固定されている場合に、平均処置効果（ATE）を推定する際の標準的無作為化比較試験（RCTs）の非効率性に対処すること。
• 歴史的データを用いて処置割り当て確率を逐次的に更新する手法を開発し、推定量の分散を低減すること。
• 適応的設計によって生じる従属的でi.i.d.でない観測の課題を、マルティンググール理論を適用することで克服すること。
• 有限標本および漸近的標本の両状況下で、提案された推定量に理論的保証を確立すること。
• 適応的手法が標準的なRCTsに比べ、推定精度の面で優れていることを実証的に検証すること。

提案手法

• 本手法は、蓄積されたデータに基づいて各期間における処置割り当て確率を動的に調整する多腕バンディットフレームワークを用いる。
• 最適な割り当て確率は、ATE推定量の漸近的分散を最小化するものとして定式化される。
• 依存性が適応的設計によって生じるが、マルティンググール理論を適用することで、妥当な統計的推論を保証する。
• アルゴリズムは、過去の結果を用いて逐次的に処置割り当て確率を更新し、推定効率を向上させる。
• 提案された推定量は、ややい像の正則性条件の下で一貫性と漸近的正規性を示すことが証明されている。
• 本手法は処置割り当てにおける文脈的情報を考慮し、パーソナライズされ、効率的な割り当てを可能にする。

実験結果

リサーチクエスチョン

• RQ1 過去の結果に基づく適応的処置割り当ては、固定無作為化と比較して、ATE推定量の分散を低減できるか？
• RQ2 適応的設計によって観測が従属的になる場合に、どのようにして妥当な統計的推論を実現できるか？
• RQ3 各段階における処置割り当ての最適確率は何か？ これは、ATE推定量の漸近的分散を最小化するためのものである。
• RQ4 提案手法は、標準的なRCTsと比較して、有限標本においてどのように性能を発揮するか？
• RQ5 どのような条件下で、適応的設計は従来のRCTsに比べて推定効率で顕著に優れるか？

主な発見

• 提案された適応的設計は、時間経過に伴い処置割り当て確率を最適に調整することで、ATE推定における漸近的分散を低減する。
• アルゴリズムから導かれた推定量は一貫性と漸近的正規性を示し、適応的サンプリングにもかかわらず妥当な推論が可能である。
• 有限標本シミュレーションにより、特定の条件下で、本手法が標準的なRCTsに比べて推定精度が優れていることが示された。
• マルティンググール理論の活用により、不偏性や正規性といった標準的統計的性質が、適応的設計下でも保持される。
• アルゴリズムは、処置割り当てにおける探索と活用のバランスを効果的にとらえ、妥当性を損なわずより効率的な推定を実現する。
• 実証的結果から、特定の実験設定において、固定無作為化と比較して、ATE推定量の平均二乗誤差が本手法で低減されていることが確認された。