[論文レビュー] Sub-event detection from Twitter streams as a sequence labeling problem

Giannis Bekoulis, Johannes Deleu+2 more|arXiv (Cornell University)|Mar 13, 2019

Complex Network Analysis Techniques参考文献 23被引用数 5

ひとこと要約

この論文は、Twitterストリームにおけるサブ/イベント検出を、時間的順序を活用する再帰的ニューラルネットワーク（LSTM）を用いた系列ラベル付け問題として定式化する。ニューラルベースラインを提案し、二値検出において従来のグラフベース手法よりも2.7%高いmicro-F1を達成するとともに、時間的順序を考慮したLSTMを用いることで、binレベルのF1を2.4%向上させ、ソーシャルメディアイベント分析における系列モデリングの価値を示している。

ABSTRACT

This paper introduces improved methods for sub-event detection in social media streams, by applying neural sequence models not only on the level of individual posts, but also directly on the stream level. Current approaches to identify sub-events within a given event, such as a goal during a soccer match, essentially do not exploit the sequential nature of social media streams. We address this shortcoming by framing the sub-event detection problem in social media streams as a sequence labeling task and adopt a neural sequence architecture that explicitly accounts for the chronological order of posts. Specifically, we (i) establish a neural baseline that outperforms a graph-based state-of-the-art method for binary sub-event detection (2.7% micro-F1 improvement), as well as (ii) demonstrate superiority of a recurrent neural network model on the posts sequence level for labeled sub-events (2.4% bin-level F1 improvement over non-sequential models).

研究の動機と目的

• 既存のサブ/イベント検出手法がTwitterストリームの系列的性質を無視しているという制限に対処すること。
• ツイートの時間的順序を活用するニューラル系列モデルを提案し、サブ/イベント検出の精度を向上させること。
• 二値サブ/イベント存在検出および多クラスサブ/イベントタイプ分類の両方における強力なベースラインを確立すること。
• LSTMによる系列モデリングを統合した際の性能への影響を、さまざまなアーキテクチャにおいて評価すること。
• リアルタイムストリームにおけるサブ/イベントの持続期間をより正確に捉えるために、緩い評価ではなくbinレベル評価を推奨すること。

提案手法

• Twitterストリームを時間のbin（例：1分間隔）に分割して、イベントセグメントを表現する。
• 各binは単語レベル（時間的順に連結された単語）またはツイートレベル（順序付きツイート）で表現される。
• 単語埋め込み、平均プーリング、およびさまざまなアーキテクチャ（CNN、アテンション、LSTM）を用いたニューラルベースラインモデルを構築する。
• 連続するbin間でのサブ/イベントの時間的流れをモデル化するために、ベースラインの上に時間的順序LSTM層を追加する。
• binレベル評価と緩いF1スコアの両方を用いてモデルを訓練および評価し、サブ/イベントの持続期間に合致するため、binレベル評価を優先する。
• 最も優れた性能を示した構成は、ツイートレベル表現と平均プーリング、および時間的順序LSTM（Tweet-AVG + LSTM）の組み合わせであり、最先端の性能を達成した。

実験結果

リサーチクエスチョン

• RQ1 ストリーム内のツイートの時間的順序をモデル化することで、サブ/イベント検出の性能が向上するか？
• RQ2 系列的でないモデルと比較して、系列ラベル付けアプローチはTwitterストリームにおけるサブ/イベント検出にどのように寄与するか？
• RQ3 隣接するbin間の時間的依存関係をモデル化するためのLSTM層を統合することで、一貫した性能向上が得られるか？
• RQ4 リアルタイムのTwitterストリームにおけるサブ/イベント検出において、binレベル評価は緩い評価よりも適切か？
• RQ5 単語レベルとツイートレベルの表現を系列モデリングと組み合わせた際の最適なアーキテクチャは何か？

主な発見

• 提案されたニューラルベースラインは、二値サブ/イベント存在検出において、最先端のグラフベース手法よりもmicro-F1で2.7%高い性能を示した。
• 時間的順序LSTM層の追加により、非系列モデルと比較してbinレベルF1が2.4%向上し、精度と再現率の両方で一貫した向上が得られた。
• Tweet-AVG + 時間的順序LSTMモデルが最高の性能を達成し、初期の学習エポックからも安定した結果を示した。
• 単語レベルのCNNモデルは、学習の後期にピーク性能に達しており、シンプルなアーキテクチャと比較して収束が遅いことが示された。
• 緩い評価戦略は、時間的順序LSTMを含まないモデルを好むが、著者らはこれが誤りであると主張しており、サブ/イベントの持続期間を正しく捉えていないからである。
• サブ/イベントの真の境界と持続期間を系列的Twitterデータでより正確に反映するため、binレベル評価を推奨する。