[論文レビュー] A Critical Assessment of Some Recent Work on COVID-19

Jörg Stoye|arXiv (Cornell University)|May 20, 2020

SARS-CoV-2 detection and testing参考文献 3被引用数 8

ひとこと要約

本稿は、プレプリントデータのみを用いて、子供のウイルス量に関するチャルト研究およびギャングェルトにおける血清疫学的有病率研究の2つの高インパactsなCOVID-19研究を再評価する。両研究の結論が研究者の自由度に影響された可能性があることが判明した。代替的な統計的手法を用いることで、元の発表結果が逆転または無効化されることが示された。これは、研究手法の客観性を保ったまま、著者たちの公的政策スタンスと一致する結果が生じた可能性を示唆している。

ABSTRACT

I tentatively re-analyze data from two well-publicized studies on COVID-19, namely the Charité "viral load in children" and the Bonn "seroprevalence in Heinsberg/Gangelt" study, from information available in the preprints. The studies have the following in common: - They received worldwide attention and arguably had policy impact. - The thrusts of their findings align with the respective lead authors' (different) public stances on appropriate response to COVID-19. - Tentatively, my reading of the Gangelt study neutralizes its thrust, and my reading of the Charité study reverses it. The exercise may aid in placing these studies in the literature. With all caveats that apply to n=2 quickfire analyses based off preprints, one also wonders whether it illustrates inadvertent effects of "researcher degrees of freedom."

研究の動機と目的

• COVID-19に関する2つの代表的なプレプリント—子供におけるウイルス量とギャングェルトにおける血清疫学的有病率—の結論が、代替的な統計的解釈のもとでも成立するかどうかを評価すること。
• 仮説検定およびデータ提示におけるメソドロジカルな選択が、著者たちの公的政策姿勢と偶然一致する結果を生じさせた可能性を調査すること。
• 高圧的で時間的にも敏感な研究環境において、研究者の自由度のリスクを浮き彫りにし、研究が他の点でうまくいっても、その影響を強調すること。
• パンデミック研究における統計的モデリングの透明性の向上を提唱するとともに、データリポジトリおよび迅速なピアレビューの価値を強調すること。

提案手法

• チャルト研究を再分析し、年齢群の最も若いグループ（0–4歳）とそれ以外のグループとの間で、単純なt検定を実施。これに対して、元の研究では複数の対比較が行われていた。
• 子供と大人のウイルス量に差がないという帰無仮説を直接検証する。プールされた年齢層とプレプリントに記載された標準誤差推定値を用いる。
• ギャングェルトの血清疫学的有病率研究を再評価し、地域の死亡率（CFR）と全国のCFRを比較。ランダムサンプリングのもとで、観察された差が統計的に妥当かどうかを評価する。
• 正確な二項検定を用いて、ギャングェルトのCFR（388人中8例）が、全国のレート（174975人中7928例）から偶然に生じる可能性を評価し、サンプリング変動の役割を検証する。
• アンダーカウンティングの外挿を評価するにあたり、人口統計的差異やクラスタリングされたサンプリングの可能性を含む、代替仮定を検討する。
• 部分的同定と補間フレームワークが、特に小規模で局所的なサンプルからの外挿において、透明性を高めるのに役立つ可能性を提言する。

実験結果

リサーチクエスチョン

• RQ1 チャルト研究が『子供と大人のウイルス量に差がない』と結論づけた根拠が、より強力で焦点を絞った統計的検定のもとでも成立するか？
• RQ2 多重比較の補正を伴う複数の対比較の選択が、統計的検出力にどの程度影響を与え、年齢によるウイルス量差の解釈を歪めたのか？
• RQ3 ギャングェルトの血清疫学的有病率研究が、より低い死亡率（2.1%）を主張する根拠が、代替的な統計的仮定やサンプリング変動に対して頑健であるか？
• RQ4 ギャングェルトとドイツの間で観察されたCFRの差は、偶然、人口統計的差異、またはサンプリング構造の結果である可能性があるのか？それとも真のアンダーカウンティングを示唆するのか？
• RQ5 仮説検定やデータ集約の選択といった、研究者の自由度が、著者たちの公的政策姿勢と一致する結果を生じさせた程度はどの程度か？

主な発見

• プールされた年齢群を用いたチャルト研究の再分析では、子供と大人のウイルス量に差がないという帰無仮説の両側検定でp値が0.4%となった。これは、帰無仮説を強く棄却する統計的証拠を示している。
• 元の研究が『有意差なし』と結論づけたのは、グローバルなKruskal-Wallis検定で年齢要因に有意差（p = 0.8%）が見られたにもかかわらず、その後に焦点を絞った検定が行われなかったため、根拠が弱まっている。
• ギャングェルト研究が主張する、全国の4.5%より低い死亡率（2.1%）は、統計的に説得力があり、地域サンプルが全国分布から抽出されたという仮定のもとで、両側検定のp値が2.6%となった。
• ギャングェルトで1件の追加死亡例が加わると、p値は5.2%に上昇し、観察された差が、同等の潜在的感染死亡率（IFR）を仮定した場合のサンプリング変動と整合的である可能性が示された。
• 研究がアンダーカウンティングの外挿を行うにあたり、ギャングェルトでより高い検査率があったという未検証の仮定に依存しており、感度分析でも十分に裏付けられていない。
• 両研究は全体的にメソドロジカルにしっかりしているものの、仮説検定やデータ提示における研究者の自由度が、著者たちの公的政策姿勢と一致する結果を強調する方向に影響を与えた可能性がある。