[論文レビュー] Handling Attrition in Longitudinal Studies: The Case for Refreshment Samples

Yiting Deng, D. Sunshine Hillygus+3 more|arXiv (Cornell University)|Jun 12, 2013

Electoral Systems and Political Participation参考文献 93被引用数 111

ひとこと要約

本稿は、縦断的調査における非無視的脱落によるバイアスを診断・是正するため、パネル調査の後続波において新たにランダムに選ばれた被験者（リフレッシュメント・サンプル）の使用を提唱する。パネルデータとリフレッシュメント・サンプルを統合するためのベイジアン手法および多重代入法を提案し、2007–2008年のAP-Yahoo!ニュース選挙調査のシミュレーションおよび分析を通じて、リフレッシュメント・サンプルが非無視的脱落がある場合に特に顕著にバイアス是正と分散推定を改善することを示している。

ABSTRACT

Panel studies typically suffer from attrition, which reduces sample size and can result in biased inferences. It is impossible to know whether or not the attrition causes bias from the observed panel data alone. Refreshment samples - new, randomly sampled respondents given the questionnaire at the same time as a subsequent wave of the panel - offer information that can be used to diagnose and adjust for bias due to attrition. We review and bolster the case for the use of refreshment samples in panel studies. We include examples of both a fully Bayesian approach for analyzing the concatenated panel and refreshment data, and a multiple imputation approach for analyzing only the original panel. For the latter, we document a positive bias in the usual multiple imputation variance estimator. We present models appropriate for three waves and two refreshment samples, including nonterminal attrition. We illustrate the three-wave analysis using the 2007-2008 Associated Press-Yahoo! News Election Poll.

研究の動機と目的

• 縦断的パネル調査における非無視的脱落という深刻な課題に対処すること。これは、バイアスの生じる推論や統計的パワーの低下を引き起こす可能性がある。
• 後続波で新たに調査される被験者（リフレッシュメント・サンプル）が、脱落バイアスを診断・是正するための外部情報としての役割を果たすことを示すこと。
• 非終端的脱落（すなわち、脱落後に再び参加する被験者を含む）を考慮した3波調査の文脈において、パネルデータとリフレッシュメント・サンプルを統合する統計モデル（ベイジアンおよび多重代入法を含む）の開発と検証を行うこと。
• 標準的な多重代入分散推定器の性能を評価し、非無視的脱落を伴うパネルデータに適用した場合に、その推定器が系統的な正のバイアスを示すことを明らかにすること。
• データ収集者および研究者が、縦断的アンケート分析の妥当性と強靭性を高めるために、リフレッシュメント・サンプルを標準的手法として採用するよう促すこと。

提案手法

• パネル調査とリフレッシュメント・サンプルを同時にモデル化する完全なベイジアンアプローチを提案し、脱落メカニズムおよび結果変数の分布に対する柔軟なモデリングを可能にする。
• リフレッシュメント・サンプルのデータを用いて、脱落したパネル参加者に対する代入を行う多重代入フレームワークを導入し、完全ケース解析におけるバイアス是正を改善する。
• 非終端的脱落（脱落後に再参加する被験者を含む）を明示的に扱う3波パネル研究のためのモデルを構築する。
• 条件付き確率モデルおよび回帰ベースの代入法を用い、観察されたパネルデータ、リフレッシュメント・サンプル、および代入された値の間の整合性を確保する。
• モデルの適合度を評価するために、代入されたデータの分布をパネルおよびリフレッシュメント・サンプルの両方の観察データと比較する診断的チェックを実施する。
• シミュレーションを実施し、2007–2008年のAP-Yahoo!ニュース選挙調査の実データを用いて、提案手法の妥当性を検証する。

実験結果

リサーチクエスチョン

• RQ1 リフレッシュメント・サンプルは、縦断的パネル調査における非無視的脱落バイアスを検出・是正するのに十分な外部情報を提供できるか？
• RQ2 リフレッシュメント・サンプルデータと組み合わせた場合、ベイジアン手法と多重代入法は、脱落バイアス是正の能力においてどのように比較されるか？
• RQ3 被験者が脱落後に再参加する非終端的脱落が、脱落バイアス是正モデルの性能に与える影響は何か？
• RQ4 非無視的脱落を伴うパネルデータに標準的な多重代入分散推定器を適用した場合、その推定器は有効なままであるか、それとも系統的なバイアスを示すか？
• RQ5 初期パネルに非無視的非応答が生じる状況において、リフレッシュメント・サンプルは、縦断的推論におけるバイアスをどの程度低減できるか？

主な発見

• 非無視的脱落を伴うパネルデータに標準的な多重代入分散推定器を適用した場合、その推定器は正のバイアスを示すことが判明し、統計的推論の精度を損なう。
• リフレッシュメント・サンプルのデータを組み込んだベイジアンおよび多重代入法による代入は、観察されたパネルデータおよびリフレッシュメント・サンプルの両者と高い整合性を示しており、良好なモデル適合を示している。
• 2007–2008年のAP-Yahoo!ニュース選挙調査の分析において、リフレッシュメント・サンプルの使用により、候補者支持の時間的推移を完全ケース分析よりも正確に推定できた。
• モデルは非終端的脱落を適切に扱うことができており、再参加する被験者をリフレッシュメント・サンプルの情報を用いて分析に意味的に統合できることを示した。
• 感度分析から、結果の妥当性は特に選択モデルにおける相互作用効果に関する仮定に強く依存していることが明らかになった。
• 本研究は、リフレッシュメント・サンプルが脱落メカニズムに関する検証不能な仮定への依存を顕著に低減し、縦断的推論の強靭性を向上させることを結論づけた。