[論文レビュー] Forecasting of Events by Tweet Data Mining

Bohdan M. Pavlyshenko|arXiv (Cornell University)|Oct 13, 2013

Advanced Text Analysis Techniques参考文献 14被引用数 7

ひとこと要約

本稿では、マイクロブログの内容から抽出された頻度集合および関連ルールを分析することで、Twitterデータを用いて現実世界の出来事の予測を行う手法を提案する。主な出来事の前には、特定の頻度集合のサポート値がピークに達することが判明した。例えば2012年ロンドンオリンピックテニス決勝や2013年ユーロビジョン・ソングコンテストの前には、そのようなピークが観察された。これは予測の兆候として機能する。一方、関連ルールの信頼度のダイナミクスは、出来事の前時間窓内で社会的予感が高まることを示すサインとなる。

ABSTRACT

This paper describes the analysis of quantitative characteristics of frequent sets and association rules in the posts of Twitter microblogs related to different event discussions. For the analysis, we used a theory of frequent sets, association rules and a theory of formal concept analysis. We revealed the frequent sets and association rules which characterize the semantic relations between the concepts of analyzed subjects. The support of some frequent sets reaches its global maximum before the expected event but with some time delay. Such frequent sets may be considered as predictive markers that characterize the significance of expected events for blogosphere users. We showed that the time dynamics of confidence in some revealed association rules can also have predictive characteristics. Exceeding a certain threshold may be a signal for corresponding reaction in the society within the time interval between the maximum and the probable coming of an event. In this paper, we considered two types of events: the Olympic tennis tournament final in London, 2012 and the prediction of Eurovision 2013 winner.

研究の動機と目的

• 主な公開イベントの前に対応するTwitterマイクロブログデータに、予測可能なパターンを同定すること。
• 形式的概念分析および関連ルールマイニングを用いて、出来事関連の概念間の意味的関係を分析すること。
• 頻度集合およびルール信頼度の時間的ダイナミクスが、出来事発生の前に対応して社会的予感を示すかどうかを特定すること。
• 2012年オリンピック決勝や2013年ユーロビジョン・ソングコンテストといった現実世界の出来事に対して、予測能力を検証すること。
• ソーシャルメディアデータが、今後の出来事への社会的注目度のシフトを早期に察知するためのシグナルとしての可能性を検討すること。

提案手法

• 対象の出来事に関連するツイート内の繰り返し現れる語の組み合わせを抽出するために、頻度アイテムセットマイニングを適用した。
• 支援度、信頼度、リフトで定量化された、出来事関連の概念間の意味的関係を発見するために、関連ルールマイニングを用いた。
• 抽出されたデータ内の概念的関係を構造化し解釈するために、形式的概念分析を採用した。
• 出来事のタイムラインに沿って、頻度集合および関連ルールの支援度と信頼度の時間的変化を追跡した。
• 出来事の日付に対して、支援度および信頼度の指標のピークを特定し、予測信号を検出する。
• 2つの異なる出来事におけるこれらの指標の時間的パターンを比較することで、予測信号の一般化可能性を評価した。

実験結果

リサーチクエスチョン

• RQ1 Twitterデータにおける特定の頻度集合が、主要な公開イベントの前において、支援度に時間的ピークを示すことは可能か？これは、社会的注目が事前に高まっている兆候である。
• RQ2 信頼度が高い関連ルールは、出来事の前において動的な増加を示すか？これは、社会的予感が高まっているサインである。
• RQ3 抽出されたパターンにおける支援度や信頼度のピークのタイミングが、近い将来の出来事の信頼できる早期予兆として機能するか？
• RQ4 スポーツ競技と音楽コンテストといった、異なる種類の出来事において、頻度集合および関連ルールのパターンはどのように異なるか？
• RQ5 ソーシャルメディアコンテンツのダイナミクスをどれだけの測定可能なリードタイムをもって、現実世界の出来事の予測に活用できるか？

主な発見

• 2012年ロンドンオリンピックテニス決勝の1～2日前に、特定の頻度集合の支援度がグローバルな最大値に達した。これは、オンライン上の注目が事前に高まっていたことを示している。
• 2013年ユーロビジョンの予測において、特定の関連ルールが出来事の前数日間にわたり信頼度が上昇し、決勝の直前にピークに達した。
• 両ケーススタディにおいて、頻度集合の支援度ピークと実際の出来事との時間的遅れが一貫しており、予測可能な行動パターンがあると示唆された。
• 信頼度が高い関連ルールが、出来事の直前に所定のしきい値を超えた。これは、社会的反応の兆候としての可能性がある。
• 頻度集合の高い支援度と、ルールにおける信頼度の上昇を組み合わせることで、二重の予測信号が得られ、予測の信頼性が向上した。
• 本手法は、主要な出来事の48時間前までに、ソーシャルメディアデータに検出可能な予測パターンを示した。これは、早期の出来事予測に有効であることを支持する。