[論文レビュー] Asymptotic Representations for Sequential Decisions, Adaptive Experiments, and Batched Bandits

Keisuke Hirano, Jack R. Porter|arXiv (Cornell University)|Feb 6, 2023

Advanced Statistical Process MonitoringDecision Sciences被引用数 3

ひとこと要約

本稿は、適応実験およびバッチ化バンディットを含む逐次的意思決定問題における漸近的表現理論を発展させ、局所代替仮説下のすべての極限分布が単一の極限ガウス型バンディットによって特徴付けられることを示している。この枠組みにより、処置割り当てが後のデータ収集に影響を与える適応的状況における妥当な推論、最適設計探索、パワー分析が可能になる。

ABSTRACT

We develop asymptotic approximations that can be applied to sequential estimation and inference problems, adaptive randomized controlled trials, and related settings. In batched adaptive settings where the decision at one stage can affect the observation of variables in later stages, our asymptotic representation characterizes all limit distributions attainable through a joint choice of an adaptive design rule and statistics applied to the adaptively generated data. This facilitates local power analysis of tests, comparison of adaptive treatments rules, and other analyses of batchwise sequential statistical decision rules.

研究の動機と目的

• 構造的かつ内生的な情報集合を有する逐次的および適応的統計的意思決定問題に対する一般化された漸近的近似手法の欠如に対処すること。
• 処置割り当てとデータ収集が逐次的に適応的に選ばれる動的で多段階の設定に、古典的な漸近的表現定理を拡張すること。
• 適応的ラウンド制御実験およびバッチ化バンディット問題における統計的手法の漸近的挙動を分析する統一的な枠組みを提供すること。
• 局所漸近的理論に基づいて、異なる適応的サンプリングルールおよび推論手順の比較を可能にすること。
• 極限データ環境（極限バンディット）を通じて到達可能な極限分布を特徴づけることにより、最適な適応的実験の設計を支援すること。

提案手法

• 逐次的情報制約および適応的設計ルールとデータ生成の間の相互作用を捉える、『極限バンディット』と呼ばれる極限データ環境を構築すること。
• HiranoとPorter（2009年）の精神に則った局所パrametrizationを用いて、処置効果が小さくても推定可能であるような局所代替仮説をモデル化すること。
• 元の逐次的意思決定問題を単純化された極限ガウス型バンディットモデルに結びつける漸近的表現を構築すること。
• 表現を用いて、Thompsonサンプリング下でのZJM検定およびプールド差分推定量の局所漸近的パワーを分析すること。
• 同じ極限モデル下で、異なる推論手順のパワー曲線を比較するために、数値的評価（シミュレーションまたは積分）を実施すること。
• バランス割り当てに近づくように重みを付けてThompsonサンプリングルールを変更し、割り当て効率と推論効率のトレードオフを評価すること。

実験結果

リサーチクエスチョン

• RQ1 適応的サンプリングおよび処置割り当てを伴う逐次的意思決定問題に、漸近的近似を一般化することは可能か？
• RQ2 過去のデータに依存する処置割り当てを持つ適応的実験において、検定統計量の極限分布は何か？
• RQ3 ZJM検定のような推論手順のパワーは、適応的バッチ化設計における最適パワーの上限に比べてどの程度か？
• RQ4 Thompsonサンプリングを50-50割り当てに近づけることで、処置効果の検出に向けた統計的パワーはどの程度向上するか？
• RQ5 極限ガウス型バンディット表現を用いて、適応的設計ルールおよび推論手順の比較と最適化は可能か？

主な発見

• 極限ガウス型バンディット表現は、逐次的適応的実験における到達可能なすべての極限分布を特徴づけ、推論と設計のための統一的枠組みを可能にする。
• ZJM検定は、バッチ単位の平均差にのみ依存するが、小さな代替仮説下では2次元統計量の限界パワーの上限に非常に近いパワーを達成する。
• プールド差分推定量検定はZJM検定よりも一貫して高いパワーを示し、4次元データの完全なパワー上限に近づく。
• Thompsonサンプリングのルールを50-50割り当てに近づける（例：c=0.1）ことで、ZJM検定と最適パワー上限との間のパワーギャップが縮小されるが、検定性能の相対的順序は維持される。
• 極限バンディットフレームワークにより、元のデータ生成プロセスを完全にシミュレートせずに、推論手順および適応的ルールの計算的に扱いやすい比較が可能になる。
• この表現は一般性が高く、特定のルール（例：ベイズ型またはプラグイン型）に制限されないため、ミニマックスレジストやロバストな好みモデルへの応用が可能になる。