[論文レビュー] On Event Causality Detection in Tweets

Humayun Kayesh, Md. Saiful Islam+1 more|arXiv (Cornell University)|Jan 11, 2019

Complex Network Analysis Techniques参考文献 20被引用数 6

ひとこと要約

本稿では、ニュース記事からの常識的背景知識を用いて、ツイートにおける要因・結果の因果関係検出のための特徴表現を向上させる、新しいイベント文脈語拡張技術を提案する。この手法を順方向ニューラルネットワークに統合することで、F1スコアが64.59%に達し、既存手法と比較してF1スコアで最低306%、再現率で最低570%の顕著な向上を達成した。

ABSTRACT

Nowadays, Twitter has become a great source of user-generated information about events. Very often people report causal relationships between events in their tweets. Automatic detection of causality information in these events might play an important role in predictive event analytics. Existing approaches include both rule-based and data-driven supervised methods. However, it is challenging to correctly identify event causality using only linguistic rules due to the highly unstructured nature and grammatical incorrectness of social media short text such as tweets. Also, it is difficult to develop a data-driven supervised method for event causality detection in tweets due to insufficient contextual information. This paper proposes a novel event context word extension technique based on background knowledge. To demonstrate the effectiveness of our proposed event context word extension technique, we develop a feed-forward neural network based approach to detect event causality from tweets. Extensive experiments demonstrate the superiority of our approach.

研究の動機と目的

• 構造的でない、非公式なツイートにおけるイベント間の因果関係を特定する課題に、言語の多様性と文脈情報の不足という点で対処すること。
• 常識的背景知識を用いて特徴表現を強化することで、教師あり学習ベースの因果関係検出を改善すること。
• 拡張されたイベント文脈語を活用するニューラルネットワークモデルを構築し、短いソーシャルメディアテキストにおける因果関係をよりよく捉えること。
• 文脈語拡張の有効性を、因果関係検出のパフォーマンスに与える影響、特にリソースが限られ、ノイズが多い環境（例：ツイート）において評価すること。
• 背景知識による特徴強化が、未学習のツイートデータに対するモデルの汎化能力とパフォーマンスを顕著に向上させることを示すこと。

提案手法

• 事前に定義された因果的キーワード（例：'because'、'due to'）を用いてニュース記事から因果ネットワークを構築し、常識的背景知識を抽出する。
• ツイート内の候補となる原因および結果のイベントのキーワードを、事前に構築した因果ネットワークから意味的に関連する語を検索することで拡張する。
• 入力特徴を拡張された文脈語で強化した上で、順方向ニューラルネットワークを用いてイベントペア間の因果関係を分類する。
• 文の構文的・意味的構造を捉えるために、単語埋め込みと位置符号化を適用する。
• 過学習を防ぎ、収束を改善するために、ハイパーパrameter（初期学習率 = 0.1、バッチサイズ = 10、150回の訓練イテレーション）を最適化する。
• 標準的な指標（正解率、適合率、再現率、F1スコア）およびROC曲線を用いて、さまざまな拡張設定（0語、2語、3語拡張）における性能を評価する。

実験結果

リサーチクエスチョン

• RQ1 ニュース記事からの背景知識が、ツイートにおける因果関係検出のための特徴表現を効果的に強化できるか？
• RQ2 拡張された文脈語の数が、ニューラルネットワークによるツイート内イベント因果関係検出のパフォーマンスにどのように影響するか？
• RQ3 提案手法の文脈語拡張技術は、単なるイベントキーワードや単純な特徴工学の手法と比較して優れているか？
• RQ4 常識的知識の使用が、短く非公式なソーシャルメディアテキストにおける文脈不足の課題をどの程度軽減できるか？
• RQ5 提案手法は未学習のツイートデータに一般化可能であり、既存の最先端因果関係検出システムと比較してどの程度優れているか？

主な発見

• 2語の文脈語拡張を施した提案手法が、最高のF1スコア64.59%を達成し、拡張なしのベースライン手法を顕著に上回った。
• 2語拡張設定では、ベースライン手法FFNN+Positionと比較して再現率が570%向上、F1スコアが306%向上した。
• 3語を超えて拡張すると性能が急激に低下したため、外部知識への過剰依存が元のイベント信号を希釈する可能性があることが示された。
• 2語拡張手法のAUC（受信者操作特性曲線下の面積）は、0語拡張手法よりも高かったことから、識別能力の向上が確認された。
• 文脈語拡張による強化特徴で学習したモデルは、未学習のテストデータに対して優れた汎化能力を示し、ツイートにおけるノイズや非公式表現に対するロバスト性が裏付けられた。
• すべての評価指標において、既存手法（例：Commonsense [7]、Commonsense+Multi-word [10]、FFNN+Position [11]）を上回った。