[論文レビュー] What Twitter Data Tell Us about the Future?

Alina Landowska, Marek Robak+1 more|arXiv (Cornell University)|Jul 20, 2023

Climate Change Communication and PerceptionSocial Sciences被引用数 3

ひとこと要約

本研究では、LDAおよびBERTopicを用いて、Twitterの未来予測者たちが投稿した100万件を超えるツイートを分析し、予測される未来のモデル化を試みた。LDAでは15のトピックを、BERTopicでは100の明確なトピックを同定した。研究では、『未来の現在』と呼ばれる動的で進化し続ける、予測可能な未来の概念的把握が、ソーシャルメディア利用者の未来への予測行動を促すことが明らかになった。これは、影響力のある声の言語的兆候が、スケーラブルなNLPパイプラインとオープンソースのデータ・コードを介して、集団的な予測行動を形作っていることを示している。

ABSTRACT

Anticipation is a fundamental human cognitive ability that involves thinking about and living towards the future. While language markers reflect anticipatory thinking, research on anticipation from the perspective of natural language processing is limited. This study aims to investigate the futures projected by futurists on Twitter and explore the impact of language cues on anticipatory thinking among social media users. We address the research questions of what futures Twitter's futurists anticipate and share, and how these anticipated futures can be modeled from social data. To investigate this, we review related works on anticipation, discuss the influence of language markers and prestigious individuals on anticipatory thinking, and present a taxonomy system categorizing futures into "present futures" and "future present". This research presents a compiled dataset of over 1 million publicly shared tweets by future influencers and develops a scalable NLP pipeline using SOTA models. The study identifies 15 topics from the LDA approach and 100 distinct topics from the BERTopic approach within the futurists' tweets. These findings contribute to the research on topic modelling and provide insights into the futures anticipated by Twitter's futurists. The research demonstrates the futurists' language cues signals futures-in-the-making that enhance social media users to anticipate their own scenarios and respond to them in present. The fully open-sourced dataset, interactive analysis, and reproducible source code are available for further exploration.

研究の動機と目的

• Twitterの未来予測者たちが予測・共有する未来の種類を調査し、それが公衆の予測的思考にどのように影響を与えるかを明らかにすること。
• 言語的マーカーや著名な人物が、ソーシャルメディア利用者の未来シナリオへの予測行動に果たす役割を検討すること。
• ソーシャルメディアデータから予測される未来をモデル化するためのスケーラブルなNLPパイプラインを開発すること。
• 今後の予測的修辞や社会的予測に関する研究のための、公開可能で再現可能なデータセットと分析フレームワークを構築すること。

提案手法

• Twitterの学術APIおよびデータ利用可能性の制約を考慮し、ウェブスクレイピングを用いて、公式認証済みのTwitterの未来予測者たちが公開した100万件を超えるツイートを収集した。
• テキストデータをクリーニング、トークン化、ノイズ除去などの標準的なNLP技術で前処理し、トピックモデリングの準備を整えた。
• トピックモデリングのためのラティント・ディリクレ・アロケーション（LDA）を適用し、未来予測者たちのツイートに15の広範なテーマ的クラスタを同定した。
• トランスフォーマーに基づくトピックモデリング手法であるBERTopicを用いて、同一データセットから100のより詳細で意味的に整合性の高いトピックを抽出した。
• 文脈的な埋め込みとクラスタリングを活用し、短文のソーシャルメディアテキストに特化したスケーラブルでSOTA準拠のNLPパイプラインを開発した。
• 全データセット、インタラクティブな可視化、およびソースコードをオープンサイエンス・フレームワークを通じて公開し、再現可能性とコミュニティによる再利用を促進した。

Figure 1 . Our workflow: from data acquisition, through topic modelling with validation feedback, until topics inference.

実験結果

リサーチクエスチョン

• RQ1 RQ.1: Twitterの未来予測者たちは、どのような未来を予測・共有しているか？
• RQ2 RQ.2: NLP技術を用いて、ソーシャルデータから予測される未来をどのようにモデル化できるか？
• RQ3 RQ.3: 影響力のある未来予測者たちの言語的兆候は、ソーシャルメディア利用者の予測行動にどのように影響を与えるか？
• RQ4 RQ.4: オンラインディスコースにおける『未来の現在』の概念的把握の構造と進化はいかなるものか？

主な発見

• LDAモデルは、未来予測者たちのツイートに15の広範なテーマ的トピックを同定し、高水準の予測的ナラティブを表した。
• BERTopicモデルは、100の明確で意味的に豊かなトピックを同定し、LDAと比較して優れた粒度と解釈可能性を示した。
• 大多数の予測される未来は『未来の現在』と分類された。これは、動的で進化し、予測不能な可能性の未来を概念的に把握するものであった。
• これらの『未来の現在』は固定されたものではなく、利用者に予測行動や即応的行動を促す、生き生きとした柔軟なビジョンを表している。
• 影響力のある未来予測者たちからの言語的兆候は、ソーシャルメディア利用者が複数の可能な未来を予測し準備する能力を高めるシグナルとして機能する。
• 本研究は、特に意思決定の影響力を持つ人々からのソーシャルメディアデータが、スケールアップして予測的ナラティブを抽出・分析可能であることを示した。

(a) LDA topics. The cluster in red is the "future of work" topic, with keywords such as "#remotework", "culture", "office", "conversation".