[论文解读] Evidence Aggregation for Treatment Choice

Takuya Ishihara, Toru Kitagawa|arXiv (Cornell University)|Aug 14, 2021

Health Systems, Economic Evaluations, Quality of Life被引用 5

一句话总结

本文提出了一种极小化最大遗憾的治疗选择决策规则，当缺乏目标人群的直接数据时，通过聚合多个外部研究的证据来实现。通过将规划者的决策形式化为具有社会福利目标的统计决策问题，该方法最优地加权外部研究估计值，以最小化最大遗憾，在模型不确定条件下，其福利遗憾表现优于插补规则。

ABSTRACT

Consider a planner who has limited knowledge of the policy's causal impact on a certain local population of interest due to a lack of data, but does have access to the publicized intervention studies performed for similar policies on different populations. How should the planner make use of and aggregate this existing evidence to make her policy decision? Following Manski (2020; Towards Credible Patient-Centered Meta-Analysis, extit{Epidemiology}), we formulate the planner's problem as a statistical decision problem with a social welfare objective, and solve for an optimal aggregation rule under the minimax-regret criterion. We investigate the analytical properties, computational feasibility, and welfare regret performance of this rule. We apply the minimax regret decision rule to two settings: whether to enact an active labor market policy based on 14 randomized control trial studies; and whether to approve a drug (Remdesivir) for COVID-19 treatment using a meta-database of clinical trials.

研究动机与目标

• 解决在缺乏目标人群直接因果数据时，如何做出基于证据的政策决策的挑战。
• 开发一种证据聚合决策规则，以优化目标人群的社会福利。
• 在统计决策理论框架内形式化该问题，重点是最小化最大遗憾而非估计平均处理效应。
• 将所提出的极小化最大遗憾规则与基于分层贝叶斯元回归和均方误差最优预测的插补规则进行比较。
• 评估该方法在真实政策应用中的分析性质、计算可行性及福利遗憾表现。

提出的方法

• 将治疗选择问题形式化为在极小化最大遗憾准则下的统计决策问题，规划者旨在最小化潜在真实处理效应下的最坏情况遗憾。
• 提出一种加权聚合规则，利用通过最小化在合理处理效应集合上的最大遗憾而导出的权重，整合外部研究估计值。
• 引入一个关键函数 η(a)，其刻画最大遗憾，其取值介于 η(0) ≈ 0.227 和 √(1 + a²) 之间，从而实现分析上的可处理性。
• 利用标准正态分布和 Mills 比率的性质，推导出遗憾函数的解析边界。
• 通过求解一个凸优化问题来计算极小化最大遗憾的权重，以在聚合估计值中平衡偏差与方差。
• 将该方法应用于两个真实世界场景：使用14项随机对照试验的积极劳动力市场政策，以及使用临床试验元数据库的瑞德西韦用于COVID-19的审批。

实验结果

研究问题

• RQ1 当缺乏目标人群的直接数据时，规划者如何最优地聚合多个外部研究的证据？
• RQ2 在模型不确定性和数据有限的条件下，何种决策规则能最小化治疗选择中的最坏情况遗憾？
• RQ3 与基于分层贝叶斯元回归或MSE最优预测的插补规则相比，极小化最大遗憾规则在福利遗憾方面表现如何？
• RQ4 所提出的证据聚合方法具有哪些分析和计算特性？
• RQ5 极小化最大遗憾规则能否在实际政策决策中应用，例如劳动力市场干预或药物审批？

主要发现

• 极小化最大遗憾决策规则实现了有界的遗憾表现，最大遗憾的上界为 √(b²(w) + s²(w))，下界为 η(0) × √(b²(w) + s²(w))，其中 η(0) ≈ 0.227。
• 所提出的规则在最坏情况遗憾表现上优于基于分层贝叶斯元回归和MSE最优预测的插补规则。
• 极小化最大遗憾权重在计算上是可行的，可通过凸优化推导，确保实际可应用性。
• 在14项关于积极劳动力市场政策的随机对照试验的应用中，该方法提供了稳健的决策规则，有效降低对最坏结果的暴露风险。
• 在瑞德西韦案例研究中，尽管外部研究异质性存在不确定性，该方法仍支持基于数据、遗憾最小化的政策建议。
• 遗憾函数是凸的，最优权重通过最小化最大遗憾推导得出，确保对模型误设的鲁棒性。