[논문 리뷰] Quasi-experimental Designs for Assessing Response on Social Media to Policy Changes

Yijun Tian, Rumi Chunara|arXiv (Cornell University)|2020. 03. 30.

Smoking Behavior and Cessation참고 문헌 25인용 수 4

한 줄 요약

이 논문은 시간과 장소에 따른 혼동 요인을 보정하면서, 전자 담배 정책 변화(예: 전자 담배 풍미 금지 및 세금 부과)에 대한 소셜 미디어 반응을 분석하기 위해 준실험 설계(QEDs)를 제안한다. 트위터와 레딧 데이터에 QEDs를 적용함으로써, 정책과 정부 행동에 대해 강한 부정적 감정이 나타나는 것을 확인하였으며, 기존 설문 조사와 보완적인 실시간 통찰을 제공한다.

ABSTRACT

Regulation of tobacco products is rapidly evolving. Understanding public sentiment in response to changes is very important as authorities assess how to effectively protect population health. Social media systems are widely recognized to be useful for collecting data about human preferences and perceptions. However, how social media data may be used, in rapid policy change settings, given challenges of narrow time periods and specific locations and non-representative the population using social media is an open question. In this paper we apply quasi-experimental designs, which have been used previously in observational data such as social media, to control for time and location confounders on social media, and then use content analysis of Twitter and Reddit posts to illustrate the content of reactions to tobacco flavor bans and the effect of taxation on e-cigarettes. Conclusions distill the potential role of social media in settings of rapidly changing regulation, in complement to what is learned by traditional denominator-based representative surveys.

연구 동기 및 목표

• 빠르게 변화하는 담배 정책에 대한 실시간 대중의 감정을 측정하는 데 있어 기존 설문 조사의 한계를 보완하기 위해.
• 시간 민감도가 높은 규제적 맥락에서 사회적 미디어 데이터를 활용하여 정책 반응을 평가하는 데의 가능성을 평가하기 위해.
• 관찰적 소셜 미디어 데이터에서 시간과 장소에 따른 혼동 요인을 보정하기 위해 준실험 설계를 적용하기 위해.
• 트위터와 레딧의 콘텐츠 분석을 통해 전자 담배 풍미 금지 및 세금 부과에 대한 대중의 감정을 분석하기 위해.
• 사회적 미디어가 공중보건 정책 평가에서 기존 설문 조사와 보완적인 실시간 신호로 기능할 수 있음을 입증하기 위해.

제안 방법

• 시간과 장소에 따른 혼동 요인을 줄이기 위해 관찰적 소셜 미디어 데이터에 준실험 설계(QEDs)를 적용하기 위해.
• 트위터와 레딧 게시물에서 담배 정책 변화와 관련된 감정을 분류하고 정량화하기 위해 콘텐츠 분석을 사용하기 위해.
• 특정 정책 이벤트에 집중하기 위해: 미국 내 전자 담배 풍미 금지 및 전자 담배 세금 부과.
• 플랫폼 전반에서 전자 담배 제품, 정책 및 관련 용어에 기반한 키워드 기반 데이터 수집을 시행하기 위해.
• 합성 통제 방법을 사용하여 정책 시행 전후의 감정 추세를 비교하기 위해.
• 사회적 미디어 감정보다 기존 설문 조사 데이터를 대조하여 결과를 해석하기 위해.

실험 결과

연구 질문

• RQ1 소셜 미디어에서 전자 담배 풍미 금지 정책 시행에 대응하여 대중의 감정은 어떻게 반응하는가?
• RQ2 트위터와 레딧 같은 플랫폼에서 전자 담배 세금에 대한 감정의 성격과 방향은 어떠한가?
• RQ3 준실험 설계가 정책 평가를 위한 소셜 미디어 데이터에서 혼동 요인을 어느 정도 줄일 수 있는가?
• RQ4 소셜 미디어 감정보다 전통적인 대표성 있는 설문 조사 결과와 비교하여 담배 정책에 대한 감정은 어떻게 다를까?
• RQ5 실시간 소셜 미디어 데이터는 공중보건 정책 결정을 지원하는 데 어떤 역할을 할 수 있는가?

주요 결과

• 전자 담배 풍미 금지 및 세금 부과에 대한 소셜 미디어 반응은 정책과 정부 행동에 대해 강한 부정적 감정을 보였다.
• 규제 개입에 대한 반응이 특히 뚜렷하여, 상향식 정책 변화에 대한 대중의 저항 또는 회의적 태도가 드러났다.
• 대표성의 한계가 있음에도 불구하고, 사회적 미디어는 대중 반응에 대한 실시간 데이터를 제공하여 설문 조사가 종종 놓치는 즉각적인 반응을 포착했다.
• 사회적 미디어 논의에서는 풍미 금지에 대한 광범위한 대중 지지 증거를 발견하지 못했으며, 일부 설문 조사에서는 높은 지지율을 보고한 것과 대조되었다.
• 준실험 설계가 시간과 장소에 따른 혼동 요인을 효과적으로 보정하여 관찰적 소셜 미디어 데이터에서 더 신뢰할 수 있는 인과적 추론을 가능하게 하였다.
• 결과는 소셜 미디어가 정책이 빠르게 시행되고 공중에 노출되는 경우, 특히 실시간으로 대중의 감정을 감지하는 데 유용한 조기 경고 신호로 기능할 수 있음을 시사한다.