[論文レビュー] Causal Explanation Analysis on Social Media

Youngseo Son, Nipun Bayas+1 more|arXiv (Cornell University)|Sep 4, 2018

Topic Modeling参考文献 23被引用数 5

ひとこと要約

本稿では、SVMを用いた因果関係検出（F1=0.791）と、階層的双方向LSTMを用いた因果説明同定（F1=0.853）を組み合わせた2段階パイプラインを提案し、全体のF1は0.868を達成した。この手法は構文解析への依存を最小限に抑えつつ逐次的文脈を活用することで、従来のモデルや話法解析器よりも優れた性能を発揮し、感情分析や人口統計的傾向の特定への応用が可能である。

ABSTRACT

Understanding causal explanations - reasons given for happenings in one's life - has been found to be an important psychological factor linked to physical and mental health. Causal explanations are often studied through manual identification of phrases over limited samples of personal writing. Automatic identification of causal explanations in social media, while challenging in relying on contextual and sequential cues, offers a larger-scale alternative to expensive manual ratings and opens the door for new applications (e.g. studying prevailing beliefs about causes, such as climate change). Here, we explore automating causal explanation analysis, building on discourse parsing, and presenting two novel subtasks: causality detection (determining whether a causal explanation exists at all) and causal explanation identification (identifying the specific phrase that is the explanation). We achieve strong accuracies for both tasks but find different approaches best: an SVM for causality prediction (F1 = 0.791) and a hierarchy of Bidirectional LSTMs for causal explanation identification (F1 = 0.853). Finally, we explore applications of our complete pipeline (F1 = 0.868), showing demographic differences in mentions of causal explanation and that the association between a word and sentiment can change when it is used within a causal explanation.

研究の動機と目的

• SNSの非公式なテキストにおける因果説明の検出と同定を自動化する手法を開発すること。これは、従来、人的なアノテーションに依存して研究されてきた。
• SNSにおける隠れた因果関係、構文的ノイズ、話法マーカーの多様性といった課題に対処するため、構文解析への依存を最小限に抑え、逐次的文脈の活用を最大化する。
• SVM、ランダムフォレスト、RNNといった多様なモデルアーキテクチャを、因果関係予測および因果説明同定タスクに適用し、最適なアプローチを特定すること。
• 本パイプラインの実用的応用を実証すること。具体的には、因果説明の使用頻度における人口統計的差異の分析、および因果文脈を組み込むことで向上する感情分析の検証。
• 今後の研究を支援するため、新規に匿名化されたFacebook因果関係データセットとトレーニング済みモデルを公開すること。

提案手法

• 因果関係検出タスクでは、n-gram、品詞タグ、語彙ベースの特徴量を用いてトレーニングされたSVM分類器を用い、投稿に因果説明が含まれるかどうかを判断する。
• 因果説明同定のため、階層的双方向LSTMモデルが単語レベルおよび話法的議論要因レベルで議論の主張を処理し、逐次的依存関係を捉える。
• パイプラインはPDTBスタイルの話法セグメンテーションを統合し、構文解析への依存を最小限に抑えつつ話法関係解析を実施することで、ノイズの多いSNSテキストへの耐性を高めている。
• 階層的BiLSTMアーキテクチャは、まず話法的議論要因内の単語を処理し、次に議論要因を順序付きに組み合わせて、どの要因が因果説明であるかを予測する。
• モデルの性能は、新規に公開された匿名化されたFacebook因果関係データセットを用いてF1スコアで評価され、アーキテクチャ的寄与度を評価するためのアブレーションスタディが実施された。
• 応用の検証には、Yelpポジティブ・ネガティブデータセットおよびMyPersonalityデータセットを用い、人口統計的パターンおよび感情との関連性を因果説明内から分析した。

実験結果

リサーチクエスチョン

• RQ1 SNSテキストは非公式かつ構文的に多様であるが、そのような文脈において、因果説明の存在を検出する際、どのモデルアーキテクチャが最も優れた性能を示すか？
• RQ2 因果説明の特定というタスクにおいて、SVMのような従来の分類器と比較して、BiLSTMのような逐次的モデルの性能はどの程度優れているか？
• RQ3 年齢や性別といった人口統計的要因は、SNS投稿における因果説明の使用頻度とどの程度相関しているか？
• RQ4 感情分析において、因果説明の文脈を組み込むことで、すべての話法的議論要因を均一に分析するのと比較して、どの程度性能が向上するか？
• RQ5 アーキテクチャ設計、例えばBiLSTM層をbag-of-featuresアプローチに置き換えることの、因果説明同定の正確性に与える影響は何か？

主な発見

• SVM分類器は因果関係検出タスクで最高のF1スコア0.791を達成し、RNNベースのモデルを上回った。これは、特徴量ベースのモデルがこの2値分類タスクに適していることを示している。
• 階層的双方向LSTMモデルは因果説明同定タスクでF1スコア0.853を達成し、単純なRNNや特徴量ベースのモデルを著しく上回った。
• 完全なパイプラインは全体でF1スコア0.868を達成し、SNSテキストにおけるエンドツーエンドの因果説明分析において優れた性能を示した。
• アブレーションスタディの結果、単語レベルまたは話法的議論要因レベルのBiLSTM層をbag-of-featuresアプローチに置き換えると精度が低下した。これは、逐次的モデリングの重要性を裏付けている。
• 年齢が高く、女性であるほど因果説明の使用頻度が著しく高く、両者とも中程度の効果サイズ（p < .05）を示した。
• 感情分析において、Yelpレビューアイテムの因果説明は、'worst'（最悪）、'rude'（不快）、'overpriced'（高すぎる）、'slow'（遅い）といった内容語と強く関連していた。これは、因果文脈が感情の根本的原因をよりよく捉えていることを示している。