[论文解读] Handling Attrition in Longitudinal Studies: The Case for Refreshment Samples

Yiting Deng, D. Sunshine Hillygus+3 more|arXiv (Cornell University)|Jun 12, 2013

Electoral Systems and Political Participation参考文献 93被引用 111

一句话总结

本文提倡在纵向研究中使用更新样本——即在后续调查波次中随机新选取的受访者，与原始面板调查并行进行调查——以诊断和校正因不可忽略的流失（non-ignorable attrition）导致的偏差。本文提出基于贝叶斯和多重插补的方法，将面板数据与更新样本数据相结合，通过模拟及对2007–2008年AP-Yahoo!新闻选举民调数据的分析，证明更新样本能显著改善偏差校正与方差估计，尤其在流失不可忽略的情况下效果更明显。

ABSTRACT

Panel studies typically suffer from attrition, which reduces sample size and can result in biased inferences. It is impossible to know whether or not the attrition causes bias from the observed panel data alone. Refreshment samples - new, randomly sampled respondents given the questionnaire at the same time as a subsequent wave of the panel - offer information that can be used to diagnose and adjust for bias due to attrition. We review and bolster the case for the use of refreshment samples in panel studies. We include examples of both a fully Bayesian approach for analyzing the concatenated panel and refreshment data, and a multiple imputation approach for analyzing only the original panel. For the latter, we document a positive bias in the usual multiple imputation variance estimator. We present models appropriate for three waves and two refreshment samples, including nonterminal attrition. We illustrate the three-wave analysis using the 2007-2008 Associated Press-Yahoo! News Election Poll.

研究动机与目标

• 为解决纵向面板研究中不可忽略流失带来的关键挑战，该挑战可能导致推断偏差与统计功效下降。
• 证明更新样本——在后续波次中调查的新受访者——可提供关键的外部信息，用于诊断和校正流失偏差。
• 开发并验证统计模型，包括贝叶斯与多重插补方法，用于在三波次设置下整合面板与更新样本数据，且考虑非终点流失（即受访者流失后又重新参与）。
• 评估标准多重插补方差估计器的表现，发现当应用于流失的面板数据时，此类估计器存在正向偏差。
• 鼓励数据收集者与研究人员将更新样本作为标准实践，以增强纵向调查分析的有效性与稳健性。

提出的方法

• 提出一种完全贝叶斯方法，联合建模原始面板与更新样本数据，允许灵活建模流失机制与结果分布。
• 引入一种多重插补框架，利用更新样本数据来指导对流失面板成员的插补，从而在完整案例分析中提升偏差校正效果。
• 为包含两个更新样本的三波次面板研究开发模型，明确考虑非终点流失（即受访者流失后重新返回）。
• 采用条件概率模型与基于回归的插补方法，确保观测到的面板数据、更新样本数据与插补值之间的一致性。
• 通过比较插补数据分布与面板及更新样本中的观测数据分布，进行诊断性检查，以评估模型拟合度。
• 开展模拟实验，并将方法应用于2007–2008年AP-Yahoo!新闻选举民调的真实数据，以验证该方法的有效性。

实验结果

研究问题

• RQ1 更新样本能否提供足够的外部信息，以检测并校正纵向面板研究中不可忽略的流失偏差？
• RQ2 当结合更新样本数据时，贝叶斯方法与多重插补方法在纠正流失偏差方面的能力如何比较？
• RQ3 非终点流失（即受访者流失后重新参与）对流失校正模型的性能有何影响？
• RQ4 标准多重插补方差估计器在应用于具有不可忽略流失的面板数据时是否仍然有效，还是系统性地存在偏差？
• RQ5 当初始面板存在不可忽略的非响应时，更新样本在多大程度上可减少纵向推断中的偏差？

主要发现

• 当应用于具有不可忽略流失的面板数据时，标准多重插补方差估计器表现出正向偏差，从而削弱了统计推断的精确性。
• 结合更新样本数据的贝叶斯与多重插补方法所产生的插补值，与观测到的面板数据及更新样本数据高度一致，表明模型拟合良好。
• 在对2007–2008年AP-Yahoo!新闻选举民调数据的分析中，使用更新样本相较于完整案例分析，能更准确地估计候选人支持率随时间的变化趋势。
• 模型成功处理了非终点流失问题，表明可利用更新样本信息将重新参与的受访者有意义地纳入分析。
• 敏感性分析表明，结果的有效性在很大程度上取决于对缺失数据机制的假设，特别是选择模型中交互效应的设定。
• 本研究得出结论：更新样本显著降低了对流失机制不可验证假设的依赖，从而提升了纵向推断的稳健性。