[論文レビュー] Exploring the big data paradox for various estimands using vaccination data from the global COVID-19 Trends and Impact Survey (CTIS)

Youqi Yang, Walter Dempsey+5 more|arXiv (Cornell University)|Jun 26, 2023

COVID-19 epidemiological studiesMathematics被引用数 3

ひとこと要約

本研究は、インドのGold-standard CoWINデータと比較して、大規模な非確率調査であるグローバルCTISと小規模な確率調査であるCVoterのワクチン接種率推定値を検討することで、非確率調査におけるビッグデータの逆説を調査している。CTISの推定誤差は0.39と高く（対照にCVoterは0.16）、しかし推定対象（estimand）を絶対的割合から相対的変化やサブグループ差に再定義することで、バイアスが顕著に低減され、有効サンプルサイズが増加することが示された。これは、絶対頻度の推定ではなく、比較的トレンド分析に適切に使用される場合、ビッグデータ調査が依然として貴重な知見を提供できることを示している。

ABSTRACT

Selection bias poses a challenge to statistical inference validity in non-probability surveys. This study compared estimates of the first-dose COVID-19 vaccination rates among Indian adults in 2021 from a large non-probability survey, COVID-19 Trends and Impact Survey (CTIS), and a small probability survey, the Center for Voting Options and Trends in Election Research (CVoter), against benchmark data from the COVID Vaccine Intelligence Network (CoWIN). Notably, CTIS exhibits a larger estimation error (0.39) compared to CVoter (0.16). Additionally, we investigated the estimation accuracy of the CTIS when using a relative scale and found a significant increase in the effective sample size by altering the estimand from the overall vaccination rate. These results suggest that the big data paradox can manifest in countries beyond the US and it may not apply to every estimand of interest.

研究の動機と目的

• 米国とは異なる医療制度および人口構造を持つ国であるインドにおいても、大規模な非確率標本が小規模な確率標本よりも推定誤差が大きくなるというビッグデータの逆説が成立するかを評価すること。
• インドにおける1回目ワクチン接種率の推定精度を、非確率調査（CTIS）と確率調査（CVoter）が、公式のCoWINベンチマークデータと比較して評価すること。
• 絶対的ワクチン接種率から相対的変化やサブグループ差に推定対象を再定義することで、非確率調査におけるバイアス低減と有効サンプルサイズの向上が可能かどうかを調査すること。
• 絶対的推定値にバイアスがあるにもかかわらず、大規模な非確率調査（例：CTIS）が、時間的トレンドやワクチン接種格差の分析にどの程度有用であるかを評価すること。

提案手法

• Meng（2018）の分解フレームワークを用い、推定誤差を3つの要因に分解：データ欠損相関（ddc）、データ不足、問題固有の難易度。
• インド成人の1回目ワクチン接種率について、調査推定値とCoWINベンチマークとの間の二乗誤差として推定誤差を計算。
• 有効サンプルサイズを次の式で計算：$ n_{eff} = \frac{n}{1 + \rho_{Y,R} \sqrt{\frac{N - n}{n}} \cdot \frac{\sigma_Y}{\overline{Y}_N} } $、ここで$ \rho_{Y,R} $は反応指標と結果の間の相関を表す。
• 推定対象を全体のワクチン接種率から、連続差分（相対的変化）やサブグループ差（例：性別）に再定義し、バイアスと有効サンプルサイズを再計算。
• 年齢、性別、地域などの人口統計変数を用いて重み付けとベンチマーク調整を行い、調査標本を母集団分布に一致させた。
• 時系列解析を実施し、CTISおよびCDC/CoWINデータを用いてワクチン接種率の変化点を特定し、各調査における検出精度を比較した。

Figure 1: Figure 1. Decomposition of the estimation error and the effective sample size of vaccine uptake in India. (A) Estimate, (B) estimation error, (c) inherent problem difficulty, (D) data deficiency, (E) data defect correlation, (F) effective sample size, and (G) reduction in the sample size o

実験結果

リサーチクエスチョン

• RQ1 米国調査で観察されたビッグデータの逆説が、インドのような非米国・高人口国でも同様に顕在するか？
• RQ2 インドにおける1回目ワクチン接種率の推定において、CTISの推定誤差は小規模確率調査（CVoter）と比べてどの程度か？
• RQ3 絶対的ワクチン接種率から相対的変化やサブグループ差に推定対象を再定義することで、非確率調査におけるバイアス低減と有効サンプルサイズの増加が達成できるか？
• RQ4 選択バイアスがあるにもかかわらず、CTISデータが時間的トレンドやワクチン接種格差をどの程度正確に捉えられるか？
• RQ5 データ欠損相関（ddc）は、大規模な非確率調査における推定誤差と有効サンプルサイズにどのような影響を及ぼすか？

主な発見

• インドにおける1回目ワクチン接種率推定において、CTISの推定誤差（0.39）はCVoter（0.16）よりも顕著に高く、米国以外の文脈でもビッグデータの逆説が成立していることを確認した。
• 推定対象を絶対的接種率から相対的変化（連続差分）に変更した場合、有効サンプルサイズが顕著に増加し、バイアス低減と精度向上が示された。
• サブグループ差推定（例：性別格差）についてもバイアス低減と高い有効サンプルサイズが得られ、ビッグデータ調査が比較的・トレンド分析に有用であることが示唆された。
• データ欠損相関（ddc）がバイアスの主な要因であり、大規模標本ではその影響が顕著に増幅された。これは、非確率調査においてバイアス（分散ではなく）が平均二乗誤差を支配することを裏付けた。
• 絶対バイアスが高かったにもかかわらず、CTISデータは時間的トレンドを合理的な精度で捉えており、公式データと一致する変化点の検出も可能であった。
• 本研究は、非確率調査（例：CTIS）が、絶対頻度の推定ではなく、相対的・比較的推定対象に適切に使用される場合、公衆衛生の監視において依然として貴重な知見を提供できることを示した。

Figure 2: Figure 2. The successive difference and relative successive difference of vaccine uptake in the US ((A) and (B)) and India ((C) and (D)). (A) The estimate and (B) effective sample size of the overall rate (blue, solid), the successive difference (blue, dashed), and the relative successive