[논문 리뷰] Surveyor Gender Modifies Average Survey Responses: Evidence from Household Surveys in Four Sub-Saharan African Countries

Noah Haber, Paul Jake Robyn외 5명|arXiv (Cornell University)|2018. 10. 03.

Survey Methodology and Nonresponse참고 문헌 17인용 수 4

한 줄 요약

이 연구는 사하라 이남 아프리카 4개국에서 가구 설문조사의 응답에 영향을 미치는 조사원 성별의 영향을 조사한다. 총 22,835건의 인터뷰 데이터를 종합 분석한 결과, 여성 조사원이 자산 소유(오즈비율 1.094) 및 산후 건강 이벤트—예를 들어, 미숙아 사망(오즈비율 1.29) 및 유산(오즈비율 1.17)에 대한 보고율을 유의하게 높이는 것으로 나타났다. 이는 조사원 성별이 응답 정확성에 상당한 영향을 미치며, 설문 조사 설계 시 이를 통제해야 함을 시사한다.

ABSTRACT

Relatively little is known regarding the influence of surveyor traits on respondent behavior. In this paper, we assess the extent to which survey gender modifies average survey responses in the context of health-focused household surveys. We pool data from four recent health-focused household surveys using both male and female surveyors: Burkina Faso (2014), Cameroon (2012), Central African Republic (2012), and Republic of Congo (2014). In all surveys, surveyors were pre-assigned to households based on an initial household listing. We compare responses given to male and female surveyors across three domains: household characteristics, child mortality and reproductive health. Multivariable regression with enumeration area fixed-effects were used to estimate response differentials. A total of 22,835 household surveys were analyzed. The proportion of interviews conducted by female interviews varied between 9 percent in Central African Republic and 52 percent in Cameroon. Female surveyor gender increased the odds of reporting asset ownership by 9.4% (OR 1.094, 95% CI: 1.024,1.169) and increased the odds of reporting a pregnancy-related event by 25% (OR 1.246 (95% CI: 1.12,1.393). Being interviewed by a woman increased the odds of respondents reporting a stillbirth by 29% (95% CI: 1.118,1.492), and the odds of reporting a miscarriage by 17% (95% CI: 1.072,1.284). Substantial heterogeneity in gender-specific reporting was found across the four countries. We did not find evidence that the gender of the participant modified the effect of surveyor gender for household items. Our results suggest that surveyor gender is highly predictive of survey responses. For health surveys, female surveyors are likely to receive more accurate and consistent responses. More generally, social distance between interviewers and interviewees should be minimized in large scale surveys.

연구 동기 및 목표

• 사하라 이남 아프리카 국가들에서 조사원 성별이 가구 설문조사의 응답에 영향을 미치는지 검토하기 위해.
• 응답자 성별에 따른 설문 응답 차이가 건강 중심 설문조사의 데이터 품질에 어느 정도 영향을 미치는지 평가하기 위해.
• 조사원과 응답자 간의 사회적 거리가 성별에 의해 영향을 받을 경우, 보고 행동이 어떻게 변화하는지 평가하기 위해.
• 조사원 성별의 영향이 국가별 또는 응답자 특성에 따라 달라지는지 결정하기 위해.

제안 방법

• 부르키나 파소, 카메룬, 중앙아프리카 공화국, 콩고 민주공화국에서 최근 실시된 4개의 건강 중심 가구 설문조사 데이터를 종합 분석하였다.
• 조사원은 초기 가구 목록 기반으로 가구에 사전 할당되어 성별에 따라 무작위로 배정되었다.
• 응답 차이를 조사원 성별에 따라 추정하기 위해 고정 효과가 포함된 다변량 회귀 모델을 사용하였다.
• 결과는 세 영역—가구 특성, 아동 사망률, 산후 건강—에서 분석되었다.
• 조사원 성별이 보고에 미치는 영향을 정량화하기 위해 오즈비율(95% 신뢰구간)을 계산하였다.

실험 결과

연구 질문

• RQ1 조사원 성별이 사하라 이남 아프리카의 가구 설문조사 평균 응답에 유의미하게 영향을 미치는가?
• RQ2 조사원 성별이 미숙아 사망 및 유산과 같은 민감한 산후 건강 결과의 보고에 어떻게 영향을 미치는가?
• RQ3 조사원 성별의 영향은 다양한 국가 간에 일관된가, 아니면 상황에 따라 달라지는가?
• RQ4 응답자 성별이 조사원 성별이 응답 패턴에 미치는 영향을 조절하는가?
• RQ5 성별에 의해 영향을 받는 조사원과 응답자 간의 사회적 거리가 설문 정확성에 어느 정도 영향을 미치는가?

주요 결과

• 여성 조사원이 자산 소유 보고 확률을 9.4% 높였다(오즈비율 1.094, 95% 신뢰구간: 1.024–1.169).
• 여성 조사원이 인터뷰한 경우 산후 이벤트 보고 확률은 24.6% 높았다(오즈비율 1.246, 95% 신뢰구간: 1.120–1.393).
• 여성 조사원이 인터뷰한 경우, 응답자는 29% 더 높은 확률로 미숙아 사망을 보고했다(오즈비율 1.290, 95% 신뢰구간: 1.118–1.492).
• 여성 조사원이 인터뷰한 경우, 유산 보고 확률은 17% 증가했다(오즈비율 1.170, 95% 신뢰구간: 1.072–1.284).
• 4개국 간 성별 기반 보고 효과에 상당한 이질성이 관찰되어 맥락에 따라 영향을 받는 것으로 나타났다.
• 응답자 성별이 가구 관련 보고에 대한 조사원 성별의 영향을 조절하는 증거는 발견되지 않았다.