[論文レビュー] Be In The Know: Connecting News Articles to Relevant Twitter Conversations

Bichen Shi, Georgiana Ifrim+1 more|arXiv (Cornell University)|May 13, 2014

Topic Modeling参考文献 33被引用数 7

ひとこと要約

本論文は、記事本文とつぶやきスレッドからの特徴を用いて、ハッシュタグを介して主流メディアのニュース記事と関連するTwitterの会話を自動で結びつける機械学習フレームワークを提案する。このシステムは、意味のあるハッシュタグを高精度で特定することができ、ジャーナリストがリアルタイムで世論の傾向や緊急の報道を追跡できる。

ABSTRACT

In the era of data-driven journalism, data analytics can deliver tools to support journalists in connecting to new and developing news stories, e.g., as echoed in micro-blogs such as Twitter, the new citizen-driven media. In this paper, we propose a framework for tracking and automatically connecting news articles to Twitter conversations as captured by Twitter hashtags. For example, such a system could alert journalists about news that get a lot of Twitter reaction, so that they can investigate those conversations for new developments in the story, promote their article to a set of interested consumers, or discover general sentiment towards the story. Mapping articles to appropriate hashtags is nevertheless very challenging, due to different language styles used in articles versus tweets, the streaming aspect of news and tweets, as well as the user behavior when marking certain tweet-terms as hashtags. As a case-study, we continuously track the RSS feeds of Irish Times news articles and a focused Twitter stream over a two months period, and present a system that assigns hashtags to each article, based on its Twitter echo. We propose a machine learning approach for classifying and ranking article-hashtag pairs. Our empirical study shows that our system delivers high precision for this task.

研究の動機と目的

• 主流メディアのニュース記事と関連するTwitterの会話へのリンクを課題として取り上げる。特に、言語スタイルの違いやリアルタイムでのストリーミングという点で課題が生じる。
• ジャーナリストが関連するハッシュタグを自動的に特定し、現在の出来事に関する世論や議論を反映させるシステムを開発する。
• ジャーナリストの作業フローを改善し、ハッシュタグの追跡を通じてトレンドトピックや世論の反応をリアルタイムでアラートする。
• 記事本文と関連するつぶやきから抽出した特徴を用いて、ハッシュタグの関連性を学習問題としてモデル化する。
• 特に政治的イニシアチブや危機的状況といった高リスクの報道状況において、意味のあるハッシュタグを特定する際のシステムの精度を評価する。

提案手法

• フレームワークは、記事の見出しや内容から動的キーワード抽出を用いて、ニュース記事のRSSフィードと特定のTwitterストリームを継続的に監視する。
• 事前処理パイプライン（ハッシュタグの正規化とフィルタリングを含む）を通じて、各記事に関連するつぶやきから候補となるハッシュタグを抽出する。
• 1つの記事-ハッシュタグペアに対して4つの主要な特徴を用いる：語彙的重複度、つぶやきの頻度、共起パターン、および埋め込みモデルによる意味的類似度。
• 手動でアノテートされたデータで学習した教師あり機械学習分類器（デフォルトの閾値は0.5）を用い、関連性に基づいて記事-ハッシュタグペアをランク付けする。
• 動的キーワードセットを用いてTwitterストリームの関連性を確保・維持し、変化するニューストピックに適応する。
• 評価には、2か月間のアイルランド・タイムズの記事とそれに対応するTwitterの会話データセットを用い、正解ラベルは手動でアノテートされたものとする。

実験結果

リサーチクエスチョン

• RQ1 ハッシュタグを意味的アンカーとして用いることで、ニュース記事を効果的に関連するTwitterの会話に結びつける方法は何か？
• RQ2 言語の違いやユーザー行動の違いを考慮した場合、特定のニュース記事に対してハッシュタグの関連性を最もよく予測する特徴は何か？
• RQ3 機械学習モデルが、記事-ハッシュタグペアの分類とランク付けにおいて、どの程度高い精度を達成できるか？
• RQ4 政治、スポーツ、危機的出来事といった多様なニュースジャンルにおいて、システムのパフォーマンスはどの程度か？
• RQ5 ジャーナリストが世論の傾向や緊急報道をモニタリングするためのリアルタイムのトラッキングとアラートを、このフレームワークが支援できるか？

主な発見

• システムは、意味のあるハッシュタグを高精度で特定することができ、テクノロジーイベントの記事に対してハッシュタグ「#websummit」の分類スコアが0.92を記録した。
• アイルランド上院選挙に関する「#seanad」ハッシュタグに関して、複数の関連記事がスコア0.82以上で正しくランク付けされた。これは、トピッククラスタリングの有効性を示している。
• モデルは、記事のトピックとは関係のないハッシュタグ（例：#tobaccodirective や #mentalhealth）を効果的に除外した。
• 上院選挙に関する最も関連性の高い記事に対して、分類器は0.99の高いスコアを達成し、高インパクトのストーリーにおいて優れたパフォーマンスを示した。
• フレームワークは、見出しに共通キーワードがない場合でも、埋め込み空間上でハッシュタグを基準にニュース記事をクラスタリングでき、関連するストーリーを効果的にグループ化した。
• このアプローチは、メディアモニタリング、世論の追跡、イベント検出の分野において有望であり、特に急激に変化するニュース環境において有効である。