[論文レビュー] Know your population and know your model: Using model-based regression and poststratification to generalize findings beyond the observed sample

Lauren Kennedy, Andrew Gelman|arXiv (Cornell University)|Jun 26, 2019

Mental Health Research Topics被引用数 5

ひとこと要約

本論文は、多層回帰と後層層別化（MRP）を用いて、被験者サンプルが代表的でない心理的調査結果を、処置効果が人口統計変数と相互作用するのをモデル化し、人口レベルの人口統計的分布を用いて予測を補正することで、より広範な集団への一般化を可能にする手法を提案する。この手法により、勤勉性や神経症傾向といったパーソナリティ特性の分布を、サンプルバイアスを是正することで正確に推定でき、MRPが心理的研究における一般化性を著しく向上させることを示している。

ABSTRACT

Psychology research focuses on interactions, and this has deep implications for inference from non-representative samples. For the goal of estimating average treatment effects, we propose to fit a model allowing treatment to interact with background variables and then average over the distribution of these variables in the population. This can be seen as an extension of multilevel regression and poststratification (MRP), a method used in political science and other areas of survey research, where researchers wish to generalize from a sparse and possibly non-representative sample to the general population. In this paper, we discuss areas where this method can be used in the psychological sciences. We use our method to estimate the norming distribution for the Big Five Personality Scale using open source data. We argue that large open data sources like this and other collaborative data sources can be combined with MRP to help resolve current challenges of generalizability and replication in psychology.

研究の動機と目的

• 代表的でない心理的サンプルからの実験的発見を、より広範な集団に一般化する課題に対処すること。
• 心理的処置効果が、人口統計的サブグループ間の不均一性のため、本質的に集団依存的であることを示すこと。
• 調査研究分野で標準的手法として採用されているMRPを、便宜的サンプルを超えた推論を改善するための心理的研究における標準的ツールとして提唱すること。
• オープンデータソースとMRPを組み合わせることで、心理的研究における再現性と一般化性の問題を解決できることを示すこと。
• オープンソースデータを用いたMRPを活用して、パーソナリティ特性の集団レベルの分布を推定する実用的なフレームワークを提供すること。

提案手法

• 多層回帰を用いて、処置条件と人口統計変数（例：年齢、性別）との間の相互作用を含む処置効果をモデル化する。
• アメリカ・コミュニティ・サーベイ（ACS）の人口カウントを用いて後層層別化を実施し、サンプル推定値を真の人口分布に再調整する。
• 弱情報的事前分布を組み込んだベイジアン階層モデルを観察データに適合させ、小規模なサブグループにおける推定値の安定化を図る。
• ACSの人口分布に割合に従って抽出されたシミュレーテッド集団サンプルに対して予測を生成する。
• 事後予測分布を用いて、集団全体における期待スコアを推定し、不確実性を評価するために複数回の抽出を行う。
• サンプルと集団の両方の推定分布を比較し、人口統計的不均衡を是正する。

実験結果

リサーチクエスチョン

• RQ1 心理的調査において、代表的でないサンプルからの発見を、より広範な集団に一般化するにはどうすればよいか？
• RQ2 人口統計的要因との相互作用が、心理的実験における処置効果推定にどの程度影響を及えるか？
• RQ3 オープンソース心理データにMRPを適用することで、パーソナリティ特性の分布推定の正確性が向上するか？
• RQ4 MRP補正が、原始的なサンプルデータと比較して、五大性格特性の推定分布にどのような影響を与えるか？
• RQ5 オープンデータソースと人口ベンチマークは、心理的研究における一般化性と再現性を高めるために果たす役割は何か？

主な発見

• MRPは、勤勉性と神経症傾向の推定分布を顕著に補正しており、元のサンプルに顕著なバイアスが存在することを示している。
• 開放性と協調性については、補正が小さいことが観察され、それらのサンプル分布が相対的に人口に近いことを示唆している。
• 外向性については、サンプルと集団の推定値にほとんど差がなく、この特性の分布に最小限のバイアスが存在することを示している。
• 事後予測シミュレーションを用いて、不確実性を定量的に評価した集団レベルの予測を効果的に生成できた。
• オープンデータ（例：ACS）とMRPを組み合わせることで、元のサンプルが代表的でない場合でも、集団レベルの分布推定が可能になる。
• 人口統計的多様性を無視すると、平均処置効果推定値が誤解を招くことになり、MRPがその是正を効果的に行うことが明らかになった。