[논문 리뷰] Learning Twitter User Sentiments on Climate Change with Limited Labeled Data

Allison Koenecke, Jordi Feliu‐Fabà|arXiv (Cornell University)|2019. 04. 15.

Climate Change Communication and Perception참고 문헌 1인용 수 5

한 줄 요약

이 논문은 유명한 사용자 기반의 새로운 레이블링 기법을 활용하여 제한된 레이블 데이터로 기후 변화에 대한 트위터 사용자 감성 분류를 위한 준지도 학습 기반의 기계 학습 접근법을 제안한다. 이는 75% 이상의 정확도를 달성한다. 분석 결과, 2018년 허리케인 사건은 동료 집단 분석에서 기후 변화에 대한 긍정적 감성 증가를 유도한 반면, wildnels나 blizzards와 같은 다른 재해 사건은 영향을 주지 않아, 감성 변화는 재해 유형에 따라 다르며 자연재해 전체에 의해 균일하게 유도되지 않는다는 것을 시사한다.

ABSTRACT

While it is well-documented that climate change accepters and deniers have become increasingly polarized in the United States over time, there has been no large-scale examination of whether these individuals are prone to changing their opinions as a result of natural external occurrences. On the sub-population of Twitter users, we examine whether climate change sentiment changes in response to five separate natural disasters occurring in the U.S. in 2018. We begin by showing that relevant tweets can be classified with over 75% accuracy as either accepting or denying climate change when using our methodology to compensate for limited labeled data; results are robust across several machine learning models and yield geographic-level results in line with prior research. We then apply RNNs to conduct a cohort-level analysis showing that the 2018 hurricanes yielded a statistically significant increase in average tweet sentiment affirming climate change. However, this effect does not hold for the 2018 blizzard and wildfires studied, implying that Twitter users' opinions on climate change are fairly ingrained on this subset of natural disasters.

연구 동기 및 목표

• 제한된 레이블 데이터를 사용하여 기후 변화 논의에 대한 확장 가능하고 편향이 없는 감성 분석의 부족을 해결하기 위해.
• 수동 레이블링 없이도 고품질의 학습 데이터를 생성하기 위해 영향력 있는 사용자를 활용한 레이블링 방법론을 개발하기 위해.
• 선택 편향을 줄이기 위해 사전 및 사후 이벤트 감성 비교를 위한 동료 수준의 분석을 수행하기 위해.
• 2018년 특정 자연재해가 트위터에서 기후 변화에 대한 공공의 감성에 측정 가능한 변화를 유도하는지 평가하기 위해.
• 감성 분석의 방법론적 편향을 평가하기 위해 총 평균 감성 추세와 동료 내 감성 변화를 비교하기 위해.

제안 방법

• 두 단계로 이루어진 데이터 수집 과정: 먼저 133명의 영향력 있는 트위터 사용자(긍정 87명, 부정 46명)로부터 트윗을 수집하여 레이블이 부여된 학습 데이터셋을 구성한다.
• 유명한 사용자 트윗의 90/10 비율을 학습 및 검증에 사용하며, 레이블은 유명한 사용자의 알려진 입장을 기반으로 한다.
• RNN 기반 모델을 사용하여 2018년 미국의 다섯 가지 재해(허리케인, 산불, 눈보라)와 관련된 트윗의 감성 분류를 수행한다.
• 사전 및 사후 이벤트에 모두 트윗을 올린 사용자를 식별하여 동료 내 분석을 수행함으로써 선택 편향을 줄인다.
• 학생의 t-검정을 사용하여 총괄 및 동료 내 비교에서 사전 및 사후 감성 변화의 통계적 유의성을 평가한다.
• 자기 보고한 사용자 위치를 지리적 좌표화하여 공간 분석을 수행하고, 모델의 강건성을 지역 간으로 검증한다.

실험 결과

연구 질문

• RQ1 2018년 자연재해 노출이 트위터 사용자들의 기후 변화에 대한 감성에 측정 가능한 변화를 유도하는가?
• RQ2 재해에 대한 반응으로서 총괄 감성 추세와 동료 내 감성 변화는 어떻게 비교되는가?
• RQ3 감성 변화는 재해 유형 간 일관된가(예: 허리케인 대비 산불)?
• RQ4 유명한 사용자 기반 준지도 학습 레이블링 방법이 제한된 레이블 데이터로 높은 정확도의 감성 분류를 달성할 수 있는가?
• RQ5 지리적 및 인구 통계적 요소는 재해 후 감성 변화에 어느 정도 영향을 미치는가?

주요 결과

• 제안된 레이블링 방법은 제한된 레이블 데이터를 사용하여 기후 변화 감성 분류에서 75% 이상의 정확도를 달성했으며, 다양한 기계 학습 모델에서 안정적인 결과를 보였다.
• 허리케인 플로렌스 사건은 동료 내 사용자 집단에서 감성의 유의미한 0.21점 상승을 유도하여, 재해 이후 기후 변화 수용에 대한 태도 변화를 시사한다.
• 허리케인 마이클 역시 동료 내 감성에서 유의미한 0.11점 상승을 보였으며, 사전의 부정적 경향을 뒤집는 결과를 보였다.
• 반면, 멘도시노 산불은 총괄적으로는 0.06점 감소했지만, 동료 내 감성은 0.09점 상승하여 복잡한 사용자 행동 패tern을 시사한다.
• 동부 해안 폭풍은 감성 변화가 미미하여 총괄적으로는 0.02점 상승하고 동료 내에서는 0.04점 상승하여 감성에 미치는 영향이 제한적임을 나타낸다.
• 캘리포니아 캄프 화재 사건은 사전 트윗 수량이 낮고, 사후에 전력회사에 화재 원인이 있다고 보도되면서 기후 연관성이 감소하여 동료 내 감성에서 0.27점 하락을 보였다.