[논문 리뷰] A Critical Assessment of Some Recent Work on COVID-19

Jörg Stoye|arXiv (Cornell University)|2020. 05. 20.

SARS-CoV-2 detection and testing참고 문헌 3인용 수 8

한 줄 요약

이 논문은 사전인쇄 자료만을 사용하여 코로나19 관련 두 개의 영향력 있는 연구—어린이에서의 바이러스 부하에 대한 차르테 연구와 반트에서의 혈청유병률 연구—를 재평가한다. 연구자들이 가진 통계적 자유도가 두 연구의 결론에 영향을 미쳤을 수 있음을 밝히며, 다른 통계적 접근 방식이 원래 결과를 뒤집거나 중립화시킬 수 있음을 보여준다. 이는 메서드론적 중립성에도 불구하고 연구자들의 공적 정책 입장과 일치하는 결과를 낳을 수 있음을 시사한다.

ABSTRACT

I tentatively re-analyze data from two well-publicized studies on COVID-19, namely the Charité "viral load in children" and the Bonn "seroprevalence in Heinsberg/Gangelt" study, from information available in the preprints. The studies have the following in common: - They received worldwide attention and arguably had policy impact. - The thrusts of their findings align with the respective lead authors' (different) public stances on appropriate response to COVID-19. - Tentatively, my reading of the Gangelt study neutralizes its thrust, and my reading of the Charité study reverses it. The exercise may aid in placing these studies in the literature. With all caveats that apply to n=2 quickfire analyses based off preprints, one also wonders whether it illustrates inadvertent effects of "researcher degrees of freedom."

연구 동기 및 목표

• 코로나19에 관한 두 개의 유명한 사전인쇄 자료—어린이에서의 바이러스 부하와 반트에서의 혈청유병률에 대한 연구—의 결론이 다른 통계적 해석 방식에 어떻게 견뎌내는지 평가하기 위해.
• 가설 검증 및 데이터 제시 방식에서의 메서드론적 선택이 연구자들의 공적 정책 입장과 의도치 않게 일치하게 된 원인을 조사하기 위해.
• 고압적이고 시간이 급한 연구 환경에서 조차도 연구자 자유도의 위험을 드러내기 위해.
• 팬데믹 연구에서 통계 모델링의 투명성 향상과 데이터 저장소 및 빠른 동료 검토의 가치를 주장하기 위해.

제안 방법

• 원래의 다중 쌍별 비교와는 대조적으로, 0–4세 연령군과 나머지 연령군 간의 바이러스 부하를 비교하는 단순 t-검정을 사용해 차르테 연구를 재분석한다.
• 어린이와 성인의 바이러스 부하가 동일하다는 귀무가설을 직접 검정하기 위해, 연령군을 통합하고 사전인쇄 자료에서 추정한 표준오차를 사용한다.
• 반트 혈청유병률 연구를 재평가하기 위해, 지역 사망률(CFR)과 국가 수준의 CFR를 비교하고, 랜덤 샘플링 하에서 관측된 차이가 통계적으로 타당한지 평가한다.
• 정확한 이항검정을 사용하여 반트의 CFR(8/388)가 국가 수준의 비율(7928/174975)으로부터 유의미하게 발생할 수 있는지 평가한다.
• 모집단의 차이와 군집 샘플링을 고려하여, 저수치 추정의 정확도를 평가한다.
• 부분 식별 및 보간 프레임워크가 소규모 국지적 샘플에서의 외삽 시 투명성을 향상시킬 수 있음을 제안한다.

실험 결과

연구 질문

• RQ1 차르테 연구에서 어린이의 바이러스 부하가 성인과 유사하다는 결론이 더 강력하고 집중된 통계적 검정을 통해 유지되는가?
• RQ2 다중 쌍별 비교와 그에 따른 다중 검정 보정을 선택한 것이 통계적 검정력 감소와 연령에 따른 바이러스 부하 차이에 대한 오해를 초래했는가?
• RQ3 반트 혈청유병률 연구에서의 낮은 사망률 주장(2.1%)이 다른 통계적 가정과 샘플링 변동성에 대해 얼마나 견고한가?
• RQ4 반트와 독일 간의 CFR 차이가 진정한 저수치의 원인보다는 우연, 인구 통계적 차이, 또는 샘플링 구조의 결과일 수 있는가?
• RQ5 가설 검정 및 데이터 집계 방식과 같은 연구자 자유도가 연구자들의 공적 정책 입장과 일치하는 결과를 형성하는 데 얼마나 기여했는가?

주요 결과

• 연령군을 통합한 단순 t-검정을 통해 차르테 연구를 재분석한 결과, 어린이와 성인이 동일한 바이러스 부하를 가진다는 귀무가설에 대한 양측 검정의 p-값은 0.4%로 나타나 귀무가설 기각에 강력한 통계적 증거를 제공한다.
• 원래 연구에서 '유의미한 차이 없음'이라는 결론은 전반적인 크루스칼-월리스 검정에서 연령에 따른 유의미한 영향(p = 0.8%)이 발견되었음에도 불구하고, 이를 집중적인 검정으로 이어지지 않았다는 점에서 뒷받침되지 않는다.
• 반트 연구에서의 낮은 사망률 주장(2.1%)은 통계적으로 설명 가능하며, 지역 샘플이 국가 분포에서 유래되었을 가능성에 대한 양측 검정의 p-값은 2.6%로 나타난다.
• 반트에서 사망자가 한 명 더 추가되면 p-값은 5.2%로 상승하여, 관측된 차이가 동일한 기저 IFR를 가정할 경우 샘플링 변동성과 일치할 수 있음을 시사한다.
• 연구의 저수치 외삽은 반트에서의 높은 검사율에 대한 검증되지 않은 가정에 의존하며, 민감도 분석에서 충분히 검토되지 않았다.
• 두 연구는 전반적으로 메서드론적으로 탄탄하지만, 가설 검정 및 데이터 제시에서 연구자 자유도가 영향을 미쳐 연구자들의 공적 정책 입장과 일치하는 결과를 강화시켰을 가능성이 있다.