[論文レビュー] Optimal sequential treatment allocation

Anders Kock, Martin Thyrsgaard|arXiv (Cornell University)|May 28, 2017

Advanced Bandit Algorithms Research参考文献 20被引用数 7

ひとこと要約

本稿では、未知の治療群サイズと遅延した結果観測が生じる状況において、レジストレーションを最小化する逐次的治療割り当て方針を提案する。結果の平均と分散を福利厚生関数に組み込み、最小最大最適なレジストレーションを確立し、非最適な治療が対数的にゆっくりと割り当てられることを示し、不確実性と遅延下でも倫理的なパフォーマンスを保証する。

ABSTRACT

In treatment allocation problems the individuals to be treated often arrive sequentially. We study a problem in which the policy maker is not only interested in the expected cumulative welfare but is also concerned about the uncertainty/risk of the treatment outcomes. At the outset, the total number of treatment assignments to be made may even be unknown. A sequential treatment policy which attains the minimax optimal regret is proposed. We also demonstrate that the expected number of suboptimal treatments only grows slowly in the number of treatments. Finally, we study a setting where outcomes are only observed with delay.

研究の動機と目的

• 治療総数が未知であり、結果が遅延して観測される状況における逐次的治療割り当ての課題に対処すること。
• 第一モーメント分析を超えて、治療結果の平均と分散の両方を考慮する福利厚生関数の開発。
• 治療回数が増加するに従い、非最適治療の期待数がゆっくり（対数的に）増加することを保証することで、倫理的なパフォーマンスを確保すること。
• バッチ単位でのデータ到着と遅延した結果観測に拡張し、精度とタイムリネスのトレードオフを定量化すること。
• 一般の福利厚生関数（歪度などの高次モーメントを含む）に対して、レジストレーションと非最適割り当ての理論的保証を提供すること。

提案手法

• 探索（治療効果の学習）と活用（最良とされている治療の割り当て）の動的バランスを取る逐次的治療方針を提案する。
• 最小最大レジストレーションフレームワークを用いて、事前に最良治療を把握している非現実的だが最適なオラクル方針とのパフォーマンスを比較する。
• リスクセンシティブな目的関数を介して分散を福利厚生関数に組み込み、政策立案者が平均的利益と結果の不確実性のトレードオフを取れるようにする。
• 遅延した結果観測をランダムな遅延分布を導入することでモデル化し、情報取得とレジストレーションへの影響を定量化する。
• バッチ単位でのデータ到着に対応するため、個々の個人ではなくグループを単位として扱い、各バッチごとに情報を集約するように方針を適応させる。
• 集中不等式を用いて、治療効果の差と分散パラメータを含む対数項を伴う期待レジストレーションの上界を導出する。

実験結果

リサーチクエスチョン

• RQ1 治療総数が未知であり、結果が遅延して観測される状況で、最小最大最適なレジストレーションを達成する治療割り当て方針はどのように構築できるか？
• RQ2 正確だが遅延する結果情報と、精度は低いが迅速に得られるデータとの間のトレードオフは何か？
• RQ3 平均と分散の両方を含む福利厚生関数は、倫理的なパフォーマンスを確保するための治療割り当てをどのように導くことができるか？
• RQ4 提案された方針下で、非最適治療が期待してどれだけ割り当てられるか、そしてその数が個人数に対してどのようにスケーリングされるか？
• RQ5 バッチ単位でのデータ到着下で、方針はどのように動作するか。また、定期的登録があるプログラムにおける実世界実装にどのような含意があるか？

主な発見

• 提案された逐次的治療方針は、非現実的だが最適なオラクル方針と比較して、最小最大最適なレジストレーションを達成する。
• 非最適治療の期待数は、治療回数に対して対数的に増加する。これは、過度な実験を制限することで倫理的なパフォーマンスを保証する。
• 遅延した結果観測下でも、方針は高い福利厚生を維持し、遅延と情報の精度の間の定量的トレードオフを提供する。
• 期待レジストレーションは、$ \mathcal{O}\left(\frac{\bar{a}^2\gamma^2 K}{\Delta} \left(1 + \frac{n}{T}\right) \log\left(\frac{T\Delta^2}{\bar{a}^2\gamma^2}\right) \right) $ に上界される。ここで $ \Delta $ は最小の治療効果差である。
• バッチ単位でのデータ到着下でも方針は有効であり、バッチサイズとバッチ数に応じて適切にスケーリングされるレジストレーションの上界が得られる。
• フレームワークは、歪度などの高次モーメントを福利厚生関数に組み込むことで拡張可能であり、政策立案者の好みをより豊かにモデル化できる。