[論文レビュー] Learning Twitter User Sentiments on Climate Change with Limited Labeled Data

Allison Koenecke, Jordi Feliu‐Fabà|arXiv (Cornell University)|Apr 15, 2019

Climate Change Communication and Perception参考文献 1被引用数 5

ひとこと要約

本稿では、影響力のあるユーザーに基づく新しいラベル付け手法を用いて、限られたラベル付きデータで気候変動に関するツイッター利用者の感情を分類する半教師付き機械学習手法を提案している。75%を超える精度を達成した。2018年のハリケーン発生時には、コhort内分析において気候変動に対する肯定的 sentiment が顕著に上昇したが、野火や blizzards などの他の自然災害ではそのような傾向は見られず、感情の変化は自然災害の種別に特異的であり、一様に自然災害が感情に影響を与えるわけではないことが示唆された。

ABSTRACT

While it is well-documented that climate change accepters and deniers have become increasingly polarized in the United States over time, there has been no large-scale examination of whether these individuals are prone to changing their opinions as a result of natural external occurrences. On the sub-population of Twitter users, we examine whether climate change sentiment changes in response to five separate natural disasters occurring in the U.S. in 2018. We begin by showing that relevant tweets can be classified with over 75% accuracy as either accepting or denying climate change when using our methodology to compensate for limited labeled data; results are robust across several machine learning models and yield geographic-level results in line with prior research. We then apply RNNs to conduct a cohort-level analysis showing that the 2018 hurricanes yielded a statistically significant increase in average tweet sentiment affirming climate change. However, this effect does not hold for the 2018 blizzard and wildfires studied, implying that Twitter users' opinions on climate change are fairly ingrained on this subset of natural disasters.

研究の動機と目的

• 限られたラベル付きデータを用いて、スケーラブルでバイアスのない気候変動に関するツイッター発言の感情分析手法の不足を解消すること。
• 手動ラベル付けを一切行わずに、影響力のあるユーザーを活用して高品質なトレーニングデータを生成するラベル付け手法の開発。
• 選択バイアスを低減するために、事前・事後での感情変化を比較するコホートレベルの分析を実施すること。
• 2018年の特定の自然災害が、ツイッター上での気候変動に対する一般の感情に測定可能な変化を引き起こしたかどうかを評価すること。
• 感情分析における手法バイアスを評価するために、全体の平均感情トレンドとコホート内感情変化を比較すること。

提案手法

• 2段階のデータ収集プロセス：まず、133名の影響力のあるツイッター利用者（肯定的87名、否定的46名）のツイートを収集し、ラベル付きトレーニングデータセットを構築。
• 影響力のあるユーザーのツイートを90/10の割合でトレーニングと検証に分割し、既知の立場に基づいて感情ラベルを付与。
• RNNベースのモデルを用いて、2018年の米国における5つの自然災害（ハリケーン、野火、 blizzards ）に関連するツイートの感情を分類。
• 災害発生前後にツイートしたユーザーを同定することで、コホート内分析を実施し、選択バイアスを低減。
• 学生の t 検定を用いて、全体的およびコホート内での感情変化の統計的有意性を評価。
• ユーザーが自ら報告した位置情報をジオコーディングし、空間的分析を実施して、地域別にモデルの頑健性を検証。

実験結果

リサーチクエスチョン

• RQ1 2018年の自然災害へのさらなる露出が、ツイッター利用者の気候変動に対する感情に測定可能な変化をもたらすか？
• RQ2 自然災害への反応として、全体の感情トレンドとコホート内感情変化の違いは何か？
• RQ3 異なる種類の災害（例：ハリケーン vs. 野火）において、感情の変化は一貫しているか？
• RQ4 影響力のあるユーザーに基づく半教師付きラベル付け手法は、限られたラベル付きデータで高い分類精度を達成できるか？
• RQ5 地理的・人口統計的要因は、災害後の感情変化にどの程度影響を及えるか？

主な発見

• 提案されたラベル付け手法は、限られたラベル付きデータを用いて75%を超える精度を達成し、複数の機械学習モデルで安定した結果を得た。
• ハリケーン・フォレスタは、同じコホート内での肯定的 sentiment が0.21ポイント有意に上昇し、災害発生後に気候変動受容度が上昇したことを示した。
• ハリケーン・マイケルについても、コホート内での肯定的 sentiment が0.11ポイント有意に上昇し、事前の否定的傾向が逆転した。
• 一方、メンドシーノ野火では、全体では0.06ポイントの減少にもかかわらず、コホート内では0.09ポイントの肯定的 sentiment 上昇を示し、ユーザー行動の複雑さがうかがえた。
• 東海岸のボンブ・サイクロンでは、全体で0.02ポイントのわずかな上昇、コホート内では0.04ポイントの上昇にとどまり、感情への影響は限定的であった。
• カリフォルニア・キャンプ・ファイアーズでは、事前のツイート頻度が低く、災害後は電力会社への火災原因の帰属づけがなされたため、気候変動との関連性が弱く感じられ、コホート内での肯定的 sentiment が0.27ポイント低下した。