[論文レビュー] Towards Real-Time Summarization of Scheduled Events from Twitter Streams

Arkaitz Zubiaga, Damiano Spina+2 more|arXiv (Cornell University)|Apr 17, 2012

Video Analysis and Summarization被引用数 14

ひとこと要約

本稿では、サッカー試合などのスケジュールされたイベントのための、ツイートストリームを用いた2段階のリアルタイム要約システムを提案する。外部知識を一切用いずに、テキスト解析（例：KLDおよびTF）を用いて部分的イベントの検出とツイート選択を実施する。平均リCALLは84%、ゴールなどの重要な部分的イベントでは100%のリCALLを達成し、複数の言語においても高い有効性を示している。

ABSTRACT

This paper explores the real-time summarization of scheduled events such as soccer games from torrential flows of Twitter streams. We propose and evaluate an approach that substantially shrinks the stream of tweets in real-time, and consists of two steps: (i) sub-event detection, which determines if something new has occurred, and (ii) tweet selection, which picks a representative tweet to describe each sub-event. We compare the summaries generated in three languages for all the soccer games in "Copa America 2011" to reference live reports offered by Yahoo! Sports journalists. We show that simple text analysis methods which do not involve external knowledge lead to summaries that cover 84% of the sub-events on average, and 100% of key types of sub-events (such as goals in soccer). Our approach should be straightforwardly applicable to other kinds of scheduled events such as other sports, award ceremonies, keynote talks, TV shows, etc.

研究の動機と目的

• 高密度のツイートストリームからのライブイベントのリアルタイム要約の課題に対処すること。
• スケジュールされたイベント中、ゴールやレッドカードなどの関連部分的イベントを、発生と同時に検出すること。
• 検出された各部分的イベントに対して、リアルタイムで代表的かつ言語的に適切なツイートを選択すること。
• イベント固有の語彙や事前イベントモデルなどの外部知識に依存せずに要約性能を評価すること。
• 本手法が、アワード式典、テレビ番組、キーノート発表など、他のスケジュールされたイベントにも一般化可能であることを示すこと。

提案手法

• システムは2段階のパイプラインを採用する：まず、キルバック・ライブラル・ダイバージェンス（KLD）および語句頻度（TF）を用いて、ツイートの発生頻度の急増と意味的シフトを検出することで部分的イベントを特定する。
• 部分的イベント検出は、現在のツイート分布と直前の分布との間のKLDが閾値を超えた場合に発火し、コンテンツに顕著な変化が生じたことを示す。
• ツイート選択では、検出された部分的イベントの時間窓内のツイートを、KLDまたはTFを用いて順位付けし、ユーザーの好む言語で最も代表的なツイートを選出する。
• システムは、手動でアノテートされた試合開始時刻を用いて時間的整合性を確保し、Yahoo! Sportsのレポートから得た部分的イベントのタイムスタンプをツイートストリームにマッピングする。
• 検出および選択の両フェーズで、言語ごとに分離してツイートをフィルタリング・処理することで、言語別要約を実現する（スペイン語、英語、ポルトガル語）。
• 本手法は、外部知識ベースや事前学習モデルに依存せず、内部のテキスト解析とストリーム履歴のみに依存する。

実験結果

リサーチクエスチョン

• RQ1 外部知識を一切用いずに、テキストベースの信号解析のみでリアルタイムの部分的イベント検出が可能かどうか。
• RQ2 KLDに基づくコンテンツシフト検出は、サッカー試合のようなライブイベントにおいて、重要な部分的イベントを同定するのにどの程度有効か。
• RQ3 単純なテキスト解析手法（例：TF、KLD）は、要約のためのツイート選択において、より複雑なモデルを上回る性能を示せるか。
• RQ4 検出および選択の段階でストリーム履歴全体を考慮することで、要約のリCALLおよびリコールがどの程度向上するか。
• RQ5 本手法は、実世界のイベントにおける言語の違いやツイートの発生頻度の違いに関係なく、一般化可能か。

主な発見

• Yahoo! Sportsのライブレポートと比較したところ、全部分的イベントの平均リCALLは84%を達成した。
• ゴール、レッドカード、試合終了などの重要な部分的イベントタイプでは、リCALLが100%に達し、ほぼ完全な検出を示している。
• KLDベースのツイート選択はTFを上回り、スペイン語、英語、ポルトガル語の3言語すべてで80%以上の精度を達成した。
• ツイート発生頻度が低い状況でも、本手法は頑健に機能し、英語要約ではツイートストリームがスペイン語の10分の1程度の規模でも79%の精度を達成した。
• KLDに基づく部分的イベント検出と試合開始時刻との時間的整合性により、外部知識を一切不要としながらも、正確でリアルタイムの要約が可能となった。
• 本手法は、アワード式典、キーノート発表、テレビ番組など、他のスケジュールされたイベントにも一般化可能であり、ドメイン固有の知識に依存しない。