[论文解读] Conflict diagnostics for evidence synthesis in a multiple testing framework

Anne M. Presanis, David Ohlssen+3 more|arXiv (Cornell University)|Feb 23, 2017

Statistical Methods and Bayesian Inference参考文献 33被引用 5

一句话总结

本文提出了一套系统化的冲突诊断框架，用于贝叶斯图形模型中的证据综合，考虑在有向无环图（DAG）中评估多个节点间不一致性的多重检验问题。通过将最大-T 类型的多重检验校正应用于节点分裂冲突p值，该方法能够在复杂证据综合中实现对模型-数据冲突的稳健检测，已在网络荟萃分析和HIV患病率估计中得到验证。

ABSTRACT

Evidence synthesis models that combine multiple datasets of varying design, to estimate quantities that cannot be directly observed, require the formulation of complex probabilistic models that can be expressed as graphical models. An assessment of whether the different datasets synthesised contribute information that is consistent with each other, and in a Bayesian context, with the prior distribution, is a crucial component of the model criticism process. However, a systematic assessment of conflict suffers from the multiple testing problem, through testing for conflict at multiple locations in a model. We demonstrate the systematic use of conflict diagnostics, while accounting for the multiple hypothesis tests of no conflict at each location in the graphical model. The method is illustrated by a network meta-analysis to estimate treatment effects in smoking cessation programs and an evidence synthesis to estimate HIV prevalence in Poland.

研究动机与目标

• 为解决在证据综合模型中系统检测冲突的挑战，其中对不一致性进行多重假设检验易导致第一类错误膨胀。
• 开发一种在评估DAG中多个节点或分区的冲突时考虑多重检验的方法，确保统计有效性。
• 通过提供一种系统化的方法检测数据、先验分布与模型假设之间的不一致性，改进贝叶斯证据综合中的模型批评。
• 在真实世界应用中展示该方法的实用性，包括网络荟萃分析和HIV患病率估计，其中冲突证据可能被单一样本检验方法所掩盖。
• 倡导全面的节点级冲突评估，而非依赖孤立的全局检验，后者可能遗漏局部不一致性。

提出的方法

• 在DAG中使用节点分裂，将模型在分隔节点处划分为两个独立的子图，以实现局部冲突评估。
• 使用冲突p值作为交叉验证诊断工具，评估每个节点分裂处数据与模型假设之间的一致性。
• 应用最大-T 多重检验校正框架（Hothorn et al., 2008; Bretz et al., 2011），以控制所有节点分裂检验中的家庭错误率。
• 实施后验预测检查，以评估观测数据是否与先验下模型预测分布一致。
• 采用模块化、分层贝叶斯框架，将证据综合模型表示为有向无环图（DAG），通过图结构编码条件独立性。
• 将该方法应用于基于对比和基于臂的参数化形式，重点研究网络荟萃分析和患病率估计，并探讨对分区选择的敏感性。

实验结果

研究问题

• RQ1 如何在不因多重检验导致第一类错误膨胀的情况下，系统性地应用于贝叶斯证据综合模型中所有节点的冲突诊断？
• RQ2 不同的节点分裂分区对DAG中不一致性检测的影响是什么，这种变异性如何解决？
• RQ3 最大-T 类型的多重检验校正是否能有效控制冲突诊断中的家庭错误率，同时保持统计功效？
• RQ4 模型参数化选择（如基于对比 vs. 基于臂）如何影响网络荟萃分析中冲突检测的结果？
• RQ5 全局冲突检验在多大程度上无法检测到局部不一致性，而全面的节点级评估如何提升模型批评的可靠性？

主要发现

• 所提出的方法在使用最大-T 校正测试DAG中多个节点的冲突时，成功控制了家庭错误率。
• 冲突诊断对节点分裂分区的选择敏感，不同分区可能导致关于冲突存在与否的不同结论。
• 在无冲突的原假设下，冲突p值在一大类分层模型中呈均匀分布，支持其作为诊断工具的有效性。
• 全局冲突检验对分区选择不具有不变性，凸显了依赖单一全局检验进行模型批评的局限性。
• 从所有可能的节点分裂出发，系统性地进行节点级冲突评估，比孤立的全局检验更可靠，能够检测到其他方法可能掩盖的不一致性。
• 设计-治疗交互作用模型被证明是节点分裂模型的饱和表示，表明现有不一致性模型与所提出的诊断框架之间存在正式关联。