[論文レビュー] Performing Stance Detection on Twitter Data using Computational Linguistics Techniques

Gourav Ganesh Shenoy, Erika Helda Dsouza+1 more|arXiv (Cornell University)|Mar 6, 2017

Sentiment Analysis and Opinion Mining参考文献 5被引用数 3

ひとこと要約

この論文は、計算言語学的手法を用いて、bag-of-words、辞書ベースの特徴（ArguingおよびMPQA）、MALTを用いた依存解析、およびランダムフォレスト分類を組み合わせることで、Twitterデータ上の教師ありステーント検出を提示する。構文的および語彙的特徴を統合することにより、精度が向上し、構造的な言語解析が基本的なテキスト特徴を上回るステーント分類を向上させることを示している。

ABSTRACT

As humans, we can often detect from a persons utterances if he or she is in favor of or against a given target entity (topic, product, another person, etc). But from the perspective of a computer, we need means to automatically deduce the stance of the tweeter, given just the tweet text. In this paper, we present our results of performing stance detection on twitter data using a supervised approach. We begin by extracting bag-of-words to perform classification using TIMBL, then try and optimize the features to improve stance detection accuracy, followed by extending the dataset with two sets of lexicons - arguing, and MPQA subjectivity; next we explore the MALT parser and construct features using its dependency triples, finally we perform analysis using Scikit-learn Random Forest implementation.

研究の動機と目的

• 与えられたターゲットに対して、Twitter投稿におけるステーント（賛成、反対、中立）を自動で検出する手法の開発。
• bag-of-words、センチメント辞書、構文的依存関係などのさまざまな計算言語学的特徴が、ステーント検出のパフォーマンスに与える影響の評価。
• 依存解析を用いた言語構造の統合が、従来のテキストベースの特徴を上回る分類精度を向上させるかどうかの検証。
• 特にランダムフォレストを含む、さまざまな特徴セットと機械学習モデルの性能を、教師ありステーント検出フレームワーク内で比較。

提案手法

• 著者らは、bag-of-words特徴を用いた初期分類のためTIMBLを用いた教師あり学習アプローチを採用。
• 2つの辞書の統合により特徴表現を強化：ステーント関連語を抽出するためのArguing辞書、およびセンチメントの手がかりを提供するMPQA主題性辞書。
• MALTパーサーを用いて依存関係の三項組を抽出し、文の文法的関係を捉える構文的特徴を生成。
• 特徴セットを統合し、Scikit-learnのランダムフォレスト分類器を用いて性能を評価。
• モデルは、精度を異なる特徴組み合わせで測定するために、Twitterステーント検出データセット上で訓練およびテストされる。
• ハイパーパramータチューニングと交差検証を実施し、モデルパフォーマンスの最適化を図る。

実験結果

リサーチクエスチョン

• RQ1 ドメイン特化辞書（ArguingおよびMPQA）の導入が、Twitterデータにおけるステーント検出精度に与える影響は何か？
• RQ2 依存解析から得られる構文的特徴が、表面的なテキスト特徴を上回って、ステーント分類にどの程度寄与するか？
• RQ3 豊富な言語的特徴を用いた場合、ランダムフォレスト分類器は単純なモデルを上回る性能を示せるか？
• RQ4 bag-of-words、辞書ベース、構文的特徴のさまざまな組み合わせが、全体の分類パフォーマンスに与える影響は何か？

主な発見

• Arguing辞書の統合により、単なるベースラインのbag-of-words特徴に比べ、ステーント検出精度が顕著に向上した。
• MPQA主題性辞書の追加により、ステーント・ニュートラルおよびセンチメントに基づくツイートの検出が改善された。
• MALTパーサーを用いて抽出した依存ベース特徴は、曖昧なステーント表現を捉えるのに特に有効であり、測定可能なパフォーマンス向上をもたらした。
• ランダムフォレスト分類器は、テストされたモデルの中で最高の精度を達成し、統合特徴セットに対する強力な一般化性能を示した。
• 最も優れたパフォーマンスを示したモデルは、bag-of-words、辞書特徴、および依存関係三項組を組み合わせており、個々の特徴セットに比べてF1スコアが顕著に向上した。