[论文解读] A Critical Assessment of Some Recent Work on COVID-19

Jörg Stoye|arXiv (Cornell University)|May 20, 2020

SARS-CoV-2 detection and testing参考文献 3被引用 8

一句话总结

本文仅使用预印本数据，对两项具有重大影响力的新冠疫情研究——夏里特医院关于儿童病毒载量的研究和波恩大学关于甘格尔特血清阳性率的研究——进行了批判性重新评估。研究发现，两项研究的结论可能受到研究者自由度的影响，因为采用其他统计方法会逆转或中和其原始发现，表明尽管方法论上保持中立，但其结论可能与作者的公共政策立场存在潜在一致。

ABSTRACT

I tentatively re-analyze data from two well-publicized studies on COVID-19, namely the Charité "viral load in children" and the Bonn "seroprevalence in Heinsberg/Gangelt" study, from information available in the preprints. The studies have the following in common: - They received worldwide attention and arguably had policy impact. - The thrusts of their findings align with the respective lead authors' (different) public stances on appropriate response to COVID-19. - Tentatively, my reading of the Gangelt study neutralizes its thrust, and my reading of the Charité study reverses it. The exercise may aid in placing these studies in the literature. With all caveats that apply to n=2 quickfire analyses based off preprints, one also wonders whether it illustrates inadvertent effects of "researcher degrees of freedom."

研究动机与目标

• 评估两项关于新冠疫情的知名预印本研究——关于儿童病毒载量和甘格尔特血清阳性率的研究——的结论，在替代统计解释下是否依然成立。
• 调查假设检验和数据呈现中的方法选择是否可能无意中使结果与作者的公共政策立场保持一致。
• 强调在高压、时间敏感的研究中，即使研究整体执行良好，'研究者自由度'仍可能带来风险。
• 倡导在疫情研究中提升统计建模的透明度，强调数据存储库和快速同行评审的价值。

提出的方法

• 使用简单的t检验对夏里特研究进行重新分析，比较最小年龄组（0–4岁）与其他所有组的病毒载量，与原始研究中的多重成对比较形成对比。
• 采用对原假设的直接检验，即儿童与成年人的病毒载量相同，使用预印本中提供的合并年龄组和标准误估计。
• 通过比较当地病例死亡率（CFR）与全国病例死亡率，重新评估甘格尔特血清阳性率研究，检验在随机抽样下观察到的差异是否具有统计合理性。
• 使用精确二项检验评估甘格尔特CFR（8/388）是否可能源于全国率（7928/174975），以评估抽样变异性的作用。
• 通过考虑替代假设（包括人口学差异和聚类抽样）来评估研究在对漏报情况进行外推时的稳健性。
• 提出部分识别和插值框架可提升透明度，尤其是在从小型、局部样本外推时。

实验结果

研究问题

• RQ1 夏里特研究关于儿童病毒载量与成人无显著差异的结论，在使用更强大、更聚焦的统计检验时是否依然成立？
• RQ2 采用多重成对比较并校正多重检验的方法在多大程度上降低了统计功效，并扭曲了对年龄相关病毒载量差异的解释？
• RQ3 甘格尔特血清阳性率研究声称的较低病例死亡率是否在替代统计假设和抽样变异性下依然稳健？
• RQ4 甘格尔特与德国之间病例死亡率的观察差异是否可能源于偶然、人口学差异或抽样结构，而非真正的漏报？
• RQ5 研究者自由度（如假设检验和数据聚合的选择）在多大程度上塑造了与作者公共政策立场一致的研究发现？

主要发现

• 使用合并年龄组对夏里特研究进行重新分析，采用简单t检验，原假设（儿童与成人病毒载量相同）的双侧p值为0.4%，表明对原假设存在强有力的统计证据反对。
• 原始研究得出的'无显著差异'结论被削弱，因为全局Kruskal-Wallis检验发现年龄效应显著（p = 0.8%），但未进一步进行聚焦检验。
• 甘格尔特研究声称的较低病例死亡率（2.1%）相较于德国（4.5%）在统计上并非不可能，本地样本来自全国分布的双侧p值为2.6%。
• 若甘格尔特再多一例死亡，p值将上升至5.2%，表明观察到的差异在假设潜在感染率相同的情况下，可能与抽样变异一致。
• 该研究对漏报的外推依赖于关于甘格尔特检测率更高的未经验证的假设，这些假设在敏感性分析中未得到充分验证或探讨。
• 尽管两项研究整体方法论上稳健，但其研究者在假设检验和数据呈现中的自由度可能放大了与作者公共政策立场一致的结果。