[論文レビュー] Tweet Insights: A Visualization Platform to Extract Temporal Insights from Twitter

Daniel Loureiro, Kiamehr Rezaee+5 more|arXiv (Cornell University)|Aug 4, 2023

Complex Network Analysis TechniquesPhysics and Astronomy被引用数 3

ひとこと要約

本論文では、2018年から2022年までの2億2000万件の英語ツイート（220 million English tweets）から、事前計算された語頻度時系列、埋め込み類似度、センチメント、トピック分布を用いて、時間的言語的インサイトを抽出する可視化プラットフォーム「Tweet Insights」を紹介する。微調整された言語モデルと語の埋め込みを活用することで、映画の公開や政治的出来事といった出来事と関連する意味の変化を、単なる人気トレンドを超えて検出可能となる。

ABSTRACT

This paper introduces a large collection of time series data derived from Twitter, postprocessed using word embedding techniques, as well as specialized fine-tuned language models. This data comprises the past five years and captures changes in n-gram frequency, similarity, sentiment and topic distribution. The interface built on top of this data enables temporal analysis for detecting and characterizing shifts in meaning, including complementary information to trending metrics, such as sentiment and topic association over time. We release an online demo for easy experimentation, and we share code and the underlying aggregated data for future work. In this paper, we also discuss three case studies unlocked thanks to our platform, showcasing its potential for temporal linguistic analysis.

研究の動機と目的

• Twitterのノイズが多く、非公式で動的な性質のため、長期的かつ大規模な言語的変化を分析する課題に対処すること。
• エキスパートでないユーザーが、基本的な頻度カウントを超えた単語レベル統計のリアルタイム時系列分析を容易に利用できるツールを提供すること。
• センチメント、トピック、埋め込みといった複数のNLP信号を統合することで、トレンドイベントに関連する意味的シフトの検出を可能にすること。
• 再現可能性と計算的社会科学・NLP分野の今後の研究を支援するため、公開可能なデモ、コード、集計済みデータをリリースすること。

提案手法

• 2018年から2022年までの期間、Twitter Academic APIを用いて2億2000万件の英語ツイートを収集（リツイート、メディア付きツイート、コンテンツが薄い投稿は除外）。
• 非検証ユーザーのメンションを匿名化し、URLを削除した後、NLTKのTweetTokenizerを用いてトークン化。
• 統計的共起スコア（Mikolov et al., 2013）を用いてn-gram（ユニグラム、ビグラム、トライグラム）を特定し、しきい値を設定して低頻度またはノイジーなフレーズをフィルタリング。
• 微調整されたBERTベースのモデルを用いて、語の意味の時間的シフトを捉えるための時系列語埋め込みを計算。
• 微調整されたRoBERTaモデルを用いてセンチメント分類を実施し、各語ごとに時系列のセンチメントスコアを生成。
• トピックモデリング手法（LDAまたは類似手法）を用いて、時間経過に伴う各語に関連するトピック分布の変化を抽出。

実験結果

リサーチクエスチョン

• RQ1 Twitter上の語頻度の急増が、単なる人気イベントではなく意味的シフトと関連している程度はどの程度か？
• RQ2 映画の公開や選挙といった高影響力の文化的・政治的出来事に対して、語の埋め込みとトピック分布はどのように変化するか？
• RQ3 センチメントとトピック信号は、一時的なトレンドと永続的な意味的変化を区別するのを支援できるか？
• RQ4 Google Trendsのような既存のツールが、多面的なNLP分析に比べて、どのように洗練された意味的シフトを捉え損ねているか？
• RQ5 トレンドイベントの長期的言語的影響は、埋め込み類似度とトピック優位性の観点から、どのように測定できるか？

主な発見

• 映画『パラサイト』の公開後、2020年2月に『parasite』という語の頻度が急激に上昇したが、それと同時に、過去の意味的プロファイルからのコサイン距離が顕著に増加し、語の関連性が一時的に変化したことが示された。
• 『parasite』のセンチメントはアカデミー賞シーズン中に上昇したが、数か月後には元のネガティブな意味（病原体）に戻り、ベースラインレベルに回復した。
• アカデミー賞期間中、『parasite』のトピック分布が一時的に『ニュース・社会的懸念』から『映画・テレビ・動画』へシフトしたことが確認され、文化的出来事が意味的シフトの原因であることが裏付けられた。
• 『folklore』に関しては、コサイン距離の持続的上昇と、『音楽』トピックカテゴリへの恒久的シフトが観察されたが、人気ピークは一時的であったにもかかわらず、意味的変化は永続的であった。
• 『macron』は2022年のフランス大統領選挙中にピークに達したが、埋め込み類似度、センチメント、トピック分布に顕著な変化は認められず、視認性は高かったものの意味的シフトは見られなかった。
• 本プラットフォームは、頻度、センチメント、トピック、埋め込み信号を統合することで、一時的かつ持続的な意味的シフトを成功裏に検出できた。これは、単一の頻度指標に比べて、多モodalな時系列分析の価値を示している。