[論文レビュー] Social media emotion macroscopes reflect emotional experiences in society at large

David García, Max Pellert+2 more|arXiv (Cornell University)|Jul 28, 2021

Mental Health Research Topics参考文献 5被引用数 16

ひとこと要約

本研究は、性別に補正を加えたテキスト分析を用いた統合的ツイッター感情指標（感情マクロスコープ）を、週次で代表的なイギリスのアンケート調査と照合し、ツイッターに基づく感情タイムラインと自-reported感情の間に強い相関（r = 0.69–0.81）があることを検証した。これは、SNSが個々のユーザーの感情を越えて、他者の感情を認識する第三者称の参照を通じて、集団的な感情状態を捉えていることを示している。

ABSTRACT

Social media generate data on human behaviour at large scales and over long periods of time, posing a complementary approach to traditional methods in the social sciences. Millions of texts from social media can be processed with computational methods to study emotions over time and across regions. However, recent research has shown weak correlations between social media emotions and affect questionnaires at the individual level and between static regional aggregates of social media emotion and subjective well-being at the population level, questioning the validity of social media data to study emotions. Yet, to date, no research has tested the validity of social media emotion macroscopes to track the temporal evolution of emotions at the level of a whole society. Here we present a pre-registered prediction study that shows how gender-rescaled time series of Twitter emotional expression at the national level substantially correlate with aggregates of self-reported emotions in a weekly representative survey in the United Kingdom. A follow-up exploratory analysis shows a high prevalence of third-person references in emotionally-charged tweets, indicating that social media data provide a way of social sensing the emotions of others rather than just the emotional experiences of users. These results show that, despite the issues that social media have in terms of representativeness and algorithmic confounding, the combination of advanced text analysis methods with user demographic information in social media emotion macroscopes can provide measures that are informative of the general population beyond social media users.

研究の動機と目的

• 大規模なツイッター感情集計が、社会の国家レベルの感情傾向を信頼性高く反映できるかどうかを検証すること。
• SNSデータにおける代表性の欠如や性別バイアスの懸念に対処するため、感情指標に性別補正を適用すること。
• SNSが個人の感情を捉えるだけでなく、他者の感情に対する認識（第三者称の参照を通じて）も捉えているかどうかを調査すること。
• 事前に登録された研究設計を用いて、時間的経過にわたる感情マクロスコープの予測力の有効性を検証すること。
• 辞書ベースとディープラーニングベースの感情検出手法が、集団レベルの感情状態をどの程度適切に捉えられるかを比較すること。

提案手法

• 2019年6月から2021年6月までの週次YouGovアンケートデータ（イギリス）と比較する、事前に登録された予測研究。
• 15億件の地理的に位置指定されたイギリス発ツイートから、12の感情をLIWCベースの辞書法と微調整されたRoBERTa分類器を用いて検出。
• ツイッターにおける男性の過剰代表を是正するため、性別補正を適用し、感情指標の人口的代表性を向上。
• 感情的言及を含むツイートにおける第三者称代名詞（例：they, him, she）の頻度を追跡し、他者の感情に対する社会的センシングの有無を評価。
• 感情関連ツイートと非感情関連ツイートにおける代名詞頻度をカイ二乗検定で比較し、有意差を同定。
• 調査データとツイッター感情タイムラインの間の相関係数の95％信頼区間を報告し、統計的妥当性を確保。

実験結果

リサーチクエスチョン

• RQ1 性別補正を施したツイッター感情タイムラインは、代表的アンケートで測定された国家レベルの感情傾向を予測できるか？
• RQ2 ツイッター感情検出とアンケートによる感情報告との相関は、性別や感情タイプによってどのように変化するか？
• RQ3 感情的言及を含むツイートの何パーセントが第三者称の参照を含んでおり、他者の感情に対する社会的認識が示唆されるか？
• RQ4 最先端のNLPモデル（例：RoBERTa）は、伝統的な辞書法に比べて集団レベルの感情をよりよく捉えられるか？
• RQ5 事前に登録された予測モデルを用いたツイッターデータ分析は、時間的経過にわたって一般化可能であり、後向きのデータフィッティングを回避できるか？

主な発見

• 性別補正を施したツイッター感情タイムラインは、イギリスアンケートの自-reportedな悲しみと顕著な相関（r = 0.698）を示し、集団感情のセンサーとしての有効性を確認した。
• 不安に関しては、女性ではr = 0.811、男性ではr = 0.724の相関が得られ、アンケートデータと強い整合性を示した。
• 第三者称代名詞は、感情的言及を含むツイートで顕著に多く見られた—例：悲しみ関連ツイートでは41.94％、非悲しみツイートでは36.07％—、これは他者の感情に対する社会的認識の兆候である。
• 性別補正の適用により、男性優位のツイッター利用者構成に起因するバイアスが軽減され、感情指標の代表性が向上した。
• 多くの感情カテゴリーにおいて、辞書ベースの手法（LIWC）がRoBERTaより高い相関を示した。特に不安といらだちに関して顕著であった。
• 「恐ろしい」と「イライラ」のような感情は、性別補正なしでも強力な相関（r = 0.794 および r = 0.649）を示し、信号検出の強固さを示した。