[論文レビュー] Counterfactual inference in sequential experiments

Raaz Dwivedi, Katherine Tian+4 more|arXiv (Cornell University)|Feb 14, 2022

Statistical Methods in Clinical Trials被引用数 4

ひとこと要約

本稿は、適応的治療方針を伴う逐次的実験における反事後的推論のための非パラメトリックな潜在要因モデルを提案する。最近傍法に基づく推定手法を用いて、単位および時刻別反事後的平均の有効な信頼区間を達成する。正則性条件下では、最小限の仮定のもとでも、適応的方針に対して、高確率誤差境界を伴う漸近的に有効な推論を提供する。

ABSTRACT

We consider after-study statistical inference for sequentially designed experiments wherein multiple units are assigned treatments for multiple time points using treatment policies that adapt over time. Our goal is to provide inference guarantees for the counterfactual mean at the smallest possible scale -- mean outcome under different treatments for each unit and each time -- with minimal assumptions on the adaptive treatment policy. Without any structural assumptions on the counterfactual means, this challenging task is infeasible due to more unknowns than observed data points. To make progress, we introduce a latent factor model over the counterfactual means that serves as a non-parametric generalization of the non-linear mixed effects model and the bilinear latent factor model considered in prior works. For estimation, we use a non-parametric method, namely a variant of nearest neighbors, and establish a non-asymptotic high probability error bound for the counterfactual mean for each unit and each time. Under regularity conditions, this bound leads to asymptotically valid confidence intervals for the counterfactual mean as the number of units and time points grows to $\infty$ together at suitable rates. We illustrate our theory via several simulations and a case study involving data from a mobile health clinical trial HeartSteps.

研究の動機と目的

• 適応的治療方針を伴う逐次的実験において、単位×時刻レベルでの反事後的平均に対する研究後統計的推論を可能にすること。
• 未知数の数が観測データポイント数を上回る場合に生じる高次元的かつ未定義の反事後的推定の課題に対処すること。
• 反事後的平均に対する構造的仮定を最小限に抑えつつ、適応的かつおそらくプールされた治療方針のもとで有効な推論を保証する手法を開発すること。
• 反事後的平均推定の非漸近的高確率誤差境界を確立し、N と T が増大する際の漸近的に有効な信頼区間を導出すること。
• シミュレーションおよび実世界のモバイルヘルス試験（HeartSteps）を通じた実証的妥当性評価により、ユーザーの異質性および方針の適応性に対して強いロバストネスを示すこと。

提案手法

• 反事後的平均の非パラメトリックな潜在要因モデルを導入し、非線形混合効果モデルおよび双線形要因モデルを一般化する。
• 治療反応空間における単位間の類似性を活用して、最近傍法の変種を用いて反事後的平均を推定する。
• 各単位および時刻点における推定反事後的平均の非漸近的高確率誤差境界を導出する。
• N と T の同時増大における収束速度を示すことで、信頼区間の漸近的有効性を確立する。
• 限られたデータのための検証セットを避けるために、訓練データを用いたデータ駆動型ハイパーパramータチューニング戦略を採用し、最近傍法の閾値 η を決定する。
• 利用可能な時刻については、治療およびユーザーに特化した平均を用いて欠損値を補完し、感度分析において代替の補完戦略（例：「利用可能」および「ゼロ」補完）を検討する。

実験結果

リサーチクエスチョン

• RQ1 適応的かつプールされた治療方針を伴う逐次的実験において、単位および時刻別反事後的平均の有効な信頼区間を構築できるか？
• RQ2 未知数の数が観測データポイント数を上回る状況で、反事後的推論を最も細かいスケール（単位×時刻）でどのように達成できるか？
• RQ3 提案された非パラメトリックな潜在要因モデルは、強いパラメトリック仮定を必要とせずに、単位および時刻における治療効果の異質性をどの程度捉えられるか？
• RQ4 実世界のデータにおいて、ユーザーの異質性に対して、最近傍法推定戦略の実効的カバレッジとロバストネスはどのように振る舞うか？
• RQ5 欠損値の補完戦略の違いが、アウトカム行列の特異値分解およびその後続の推論にどのような影響を及えるか？

主な発見

• 提案手法は、反事後的平均推定の非漸近的高確率誤差境界を達成し、最小限の仮定のもとで有効な推論を可能にする。
• N と T が適切な割合で同時に増大する場合、反事後的平均の信頼区間は漸近的に有効となり、大標本における正しいカバレッジを保証する。
• チューニングされたハイパーパramータ η = 8.72（対照的距離の43番目の百分位数）により、HeartSteps ケーススタディの35人のフィルタリング済みユーザー全員に対して少なくとも3人の近傍が得られ、推定の安定性が確保される。
• IP-TSからのユーザー固有のランダム効果と最近傍数との間に負の相関（r = -0.69、p = 0.06）が観察され、ユーザーの異質性を捉える点で整合性があることが示唆される。
• 「利用可能」補完戦略では、最初の3つの特異成分で60％以上の分散を説明できるが、「ゼロ」補完戦略では同じ分散説明のためには約10個の成分が必要となる。
• 35人のフィルタリング済みユーザーにおける実効的カバレッジを調査した結果、名目カバレッジ水準に近く維持されており、ヒストограмグラムは大多数のユーザーが目標に近いカバレッジを達成していることを示している。