[논문 리뷰] Handling Attrition in Longitudinal Studies: The Case for Refreshment Samples

Yiting Deng, D. Sunshine Hillygus외 3명|arXiv (Cornell University)|2013. 06. 12.

Electoral Systems and Political Participation참고 문헌 93인용 수 111

한 줄 요약

이 논문은 종단적 연구에서 무시할 수 없는 이탈로 인한 편향을 진단하고 수정하기 위해, 패널의 후속 파업에 함께 조사되는 새로운 무작위로 선발된 응답자(재충전 샘플)의 사용을 주장한다. 패널 데이터와 재충전 샘플 데이터를 통합하기 위해 베이지안 및 다중 대체 방법을 제안하며, 2007–2008년 AP-Yahoo! 뉴스 선거 풀에 대한 시뮬레이션과 분석을 통해 재충전 샘플이 비무시적 이탈이 있는 경우에 특히 편향 보정과 분산 추정에 크게 기여함을 입증한다.

ABSTRACT

Panel studies typically suffer from attrition, which reduces sample size and can result in biased inferences. It is impossible to know whether or not the attrition causes bias from the observed panel data alone. Refreshment samples - new, randomly sampled respondents given the questionnaire at the same time as a subsequent wave of the panel - offer information that can be used to diagnose and adjust for bias due to attrition. We review and bolster the case for the use of refreshment samples in panel studies. We include examples of both a fully Bayesian approach for analyzing the concatenated panel and refreshment data, and a multiple imputation approach for analyzing only the original panel. For the latter, we document a positive bias in the usual multiple imputation variance estimator. We present models appropriate for three waves and two refreshment samples, including nonterminal attrition. We illustrate the three-wave analysis using the 2007-2008 Associated Press-Yahoo! News Election Poll.

연구 동기 및 목표

• 종단적 패널 연구에서 무시할 수 없는 이탈로 인한 편향 추론과 통계적 검정력 감소라는 심각한 문제를 해결하기 위해.
• 후속 파업에 조사되는 새로운 응답자(재충전 샘플)가 이탈 편향을 진단하고 수정하는 데 필수적인 외부 정보를 제공함을 입증하기 위해.
• 비종료 이탈이 있는 3파업 설정에서 패널 데이터와 재충전 샘플 데이터를 통합하기 위한 통계 모델(베이지안 및 다중 대체 접근법 포함)을 개발하고 검증하기 위해.
• 표준 다중 대체 분산 추정기의 성능을 평가하여, 비무시적 이탈이 있는 패널 데이터에 적용될 경우 이러한 추정기가 체계적으로 편향을 보임을 밝혀내기 위해.
• 데이터 수집자와 연구자들이 종단적 설문 조사 분석의 타당성과 강건성을 향상시키기 위해 재충전 샘플을 표준 관행으로 도입할 것을 장려하기 위해.

제안 방법

• 원래 패널과 재충전 샘플을 동시에 모델링하는 완전한 베이지안 접근법을 제안하여, 이탈 메커니즘과 결과 분포에 대한 유연한 모델링을 가능하게 한다.
• 재충전 샘플 데이터를 활용해 이탈한 패널 구성원의 값을 대체하는 다중 대체 프레임워크를 도입하여, 완전사례 분석에서의 편향 보정을 향상시킨다.
• 두 개의 재충전 샘플이 있는 3파업 패널 연구를 위한 모델을 개발하며, 비종료 이탈(즉, 이탈 후 다시 복귀하는 응답자)을 명시적으로 고려한다.
• 조건부 확률 모델과 회귀 기반 대체 방법을 활용하여 관측된 패널 데이터, 재충전 샘플, 그리고 대체된 값 간의 호환성을 확보한다.
• 모델 적합도 평가를 위해 패널 및 재충전 샘플의 관측 데이터와 대체된 데이터의 분포를 비교하는 진단 검사를 수행한다.
• 시뮬레이션을 수행하고 2007–2008년 AP-Yahoo! 뉴스 선거 풀의 실제 데이터에 방법을 적용하여 접근법의 타당성을 검증한다.

실험 결과

연구 질문

• RQ1 재충전 샘플이 종단적 패널 연구에서 비무시적 이탈 편향을 진단하고 수정하기에 충분한 외부 정보를 제공할 수 있는가?
• RQ2 재충전 샘플 데이터와 결합할 때, 베이지안 및 다중 대체 방법이 이탈 편향 보정 능력에서 어떻게 상호 비교되는가?
• RQ3 응답자가 이탈 후 복귀하는 비종료 이탈이 이탈 보정 모델의 성능에 어떤 영향을 미치는가?
• RQ4 비무시적 이탈이 있는 패널 데이터에 표준 다중 대체 분산 추정기를 적용할 경우, 그 추정기는 여전히 타당한가, 아니면 체계적으로 편향되는가?
• RQ5 초기 패널이 비무시적 응답 누락을 겪을 경우, 재충전 샘플이 종단적 추론의 편향을 어느 정도 감소시킬 수 있는가?

주요 결과

• 비무시적 이탈이 있는 패널 데이터에 표준 다중 대체 분산 추정기를 적용할 경우, 이 추정기는 양의 편향을 보이며 통계적 추론의 정밀도를 떨어뜨린다.
• 재충전 샘플 데이터를 통합한 베이지안 및 다중 대체 방법은 관측된 패널 데이터와 재충전 샘플 데이터 양쪽 모두와 높은 호환성을 보이며, 모델 적합도가 양호함을 시사한다.
• 2007–2008년 AP-Yahoo! 뉴스 선거 풀 분석에서, 재충전 샘플을 사용한 결과는 완전사례 분석에 비해 후보 지지율 추세를 더 정확하게 추정하였다.
• 모델은 비종료 이탈을 성공적으로 반영하였으며, 재충전 샘플 정보를 활용해 복귀한 응답자를 분석에 의미 있게 통합할 수 있음을 보여주었다.
• 민감도 분석 결과, 결과의 타당성은 특히 선택 모델에서의 상호작용 효과에 대한 가정에 크게 의존함을 밝혀내었다.
• 이 연구는 재충전 샘플이 이탈 메커니즘에 대한 검증 불가능한 가정에 대한 의존도를 크게 감소시켜 종단적 추론의 강건성을 향상시킴을 결론으로 내린다.