[논문 리뷰] Know your population and know your model: Using model-based regression and poststratification to generalize findings beyond the observed sample

Lauren Kennedy, Andrew Gelman|arXiv (Cornell University)|2019. 06. 26.

Mental Health Research Topics인용 수 5

한 줄 요약

이 논문은 다수의 회귀분석과 후분류(다중수준 회귀 및 후분류, MRP)를 사용하여 비표본적 심리학적 표본의 결과를 더 넓은 인구집단으로 일반화하는 방법을 제안한다. 이는 치료 효과가 인구통계학적 변수와 상호작용하는 모델을 설정하고, 모집단 수준의 인구통계학적 분포를 사용해 예측치를 조정함으로써 이루어진다. 이 방법은 성실성과 정서적 불안정성과 같은 성격 특성의 분포를 표본 편향을 보정함으로써 정확하게 추정할 수 있게 하며, 심리학 연구에서 일반화 능력이 크게 향상됨을 보여준다.

ABSTRACT

Psychology research focuses on interactions, and this has deep implications for inference from non-representative samples. For the goal of estimating average treatment effects, we propose to fit a model allowing treatment to interact with background variables and then average over the distribution of these variables in the population. This can be seen as an extension of multilevel regression and poststratification (MRP), a method used in political science and other areas of survey research, where researchers wish to generalize from a sparse and possibly non-representative sample to the general population. In this paper, we discuss areas where this method can be used in the psychological sciences. We use our method to estimate the norming distribution for the Big Five Personality Scale using open source data. We argue that large open data sources like this and other collaborative data sources can be combined with MRP to help resolve current challenges of generalizability and replication in psychology.

연구 동기 및 목표

• 비표본적 심리학적 표본에서의 실험 결과를 더 넓은 인구집단으로 일반화하는 데 도전하는 것.
• 심리학에서의 치료 효과가 다양한 인구통계학적 하위군 간 이질성으로 인해 본질적으로 인구집단에 따라 달라진다는 것을 입증하는 것.
• 설문조사 연구에서 사용되는 방법인 MRP를 심리학 연구에서 일반화된 추론을 가능하게 하기 위해 표준 도구로 도입할 것을 주장하는 것.
• 오픈 데이터 자료와 MRP를 조합함으로써 심리학에서 재현 가능성과 일반화 문제를 해결할 수 있음을 보여주는 것.
• 오픈소스 데이터를 기반으로 MRP를 사용하여 성격 특성의 모집단 수준 분포를 추정하는 실용적인 프레임워크를 제공하는 것.

제안 방법

• 이 방법은 치료 조건과 인구통계학적 변수(예: 연령, 성별) 간의 상호작용을 고려한 다수준 회귀분석을 통해 치료 효과를 모델링한다.
• 모집단 수준의 인구통계학적 분포를 반영하기 위해 미국 인구조사(ACS)의 인구수치를 활용해 후분류를 적용한다.
• 약한 정보를 가진 사전분포를 포함시켜 소규모 하위군에서의 추정치를 안정화시키기 위해 베이지안 계층모형을 관측자료에 적합시킨다.
• ACS 인구분포에 비례하여 추출된 시뮬레이션된 모집단 표본에 대해 예측치를 생성한다.
• 후행 예측 분포를 사용해 모집단 전반에 걸친 기대 점수를 추정하며, 불확실성을 정량화하기 위해 다수의 샘플링을 수행한다.
• 표본과 모집단의 예측 분포를 비교하고, 인구통계학적 불균형을 보정한다.

실험 결과

연구 질문

• RQ1 심리학 연구는 비표본적 표본의 결과를 더 넓은 인구집단으로 일반화하기 위해 어떻게 해야 할까?
• RQ2 인구통계학적 변수 간의 상호작용은 심리학 실험에서 치료 효과 추정에 어느 정도 영향을 미치는가?
• RQ3 오픈소스 심리학 데이터에 MRP를 적용할 경우 성격 특성 분포 추정의 정확도가 향상되는가?
• RQ4 MRP 조정은 원본 표본 데이터와 비교해 빅파이브 성격 특성의 추정 분포에 어떤 영향을 미치는가?
• RQ5 오픈 데이터 자료와 모집단 기준 자료는 심리학에서 일반화 및 재현 가능성 향상에 어떤 역할을 하는가?

주요 결과

• MRP는 성실성과 정서적 불안정성의 추정 분포를 상당히 조정하여 원래 표본에 심각한 편향이 있음을 시사한다.
• 개방성과 협력성에 대해서는 조정 폭이 작았으며, 이는 이들의 표본 분포가 상대적으로 모집단과 유사했음을 시사한다.
• 외향성은 표본과 모집단의 추정치 간에 거의 차이가 없었으며, 이는 해당 성격 특성의 분포에 최소한의 편향이 있음을 의미한다.
• 후행 예측 시뮬레이션을 통해 불확실성을 정량화한 모집단 수준의 예측치를 성공적으로 생성했다.
• 오픈 데이터(예: ACS)와 MRP를 조합하면 원본 표본이 비표본적일 경우에도 모집단 분포를 추정할 수 있다.
• 결과적으로 인구통계학적 이질성을 忽시할 경우 오해의 여지가 있는 평균 치료 효과 추정치가 유도되며, MRP는 이를 효과적으로 보정함을 입증했다.