[論文レビュー] Stance Detection on Tweets: An SVM-based Approach

Dilek Küçük, Fazlı Can|arXiv (Cornell University)|Mar 23, 2018

Sentiment Analysis and Opinion Mining参考文献 16被引用数 16

ひとこと要約

本稿では、2つの主要なサッカークラブを標的とした、公開可能でスタンドアングレーディング付きのトルコ語スポーツツイートからなる新規のデータセットを提示し、ユニグラム、ハッシュタグ、固有語彙特徴を用いたSVMベースの分類器の評価を実施している。主な発見は、ユニグラム、ハッシュタグ、固有語彙を組み合わせることで、2つの拡張データバージョンにおいて最高のF1スコア（84.2%および82.8%）が達成されたことである。これは、トルコ語のソーシャルメディアテキストにおけるスタンド検出の強固なベースラインを確立するものである。

ABSTRACT

Stance detection is a subproblem of sentiment analysis where the stance of the author of a piece of natural language text for a particular target (either explicitly stated in the text or not) is explored. The stance output is usually given as Favor, Against, or Neither. In this paper, we target at stance detection on sports-related tweets and present the performance results of our SVM-based stance classifiers on such tweets. First, we describe three versions of our proprietary tweet data set annotated with stance information, all of which are made publicly available for research purposes. Next, we evaluate SVM classifiers using different feature sets for stance detection on this data set. The employed features are based on unigrams, bigrams, hashtags, external links, emoticons, and lastly, named entities. The results indicate that joint use of the features based on unigrams, hashtags, and named entities by SVM classifiers is a plausible approach for stance detection problem on sports-related tweets.

研究の動機と目的

• 非英語言語におけるアノテート済みスタンドデータセットの不足を解消するため、トルコ語・スポーツ特化型のスタンドアングレーディング付きツイートデータセットを構築・公開すること。
• SVM分類器を用いて、ユニグラム、ビグラム、ハッシュタグ、リンク、絵文字、固有語彙の各特徴セットのスタンド検出における有効性を評価すること。
• 特にスポーツ関連の議論を文脈として、トルコ語ツイートにおけるスタンド検出の強固なベースラインを確立すること。
• トルコ語のような低リソース言語において、固有語彙とハッシュタグがスタンド分類の改善にどのように寄与するかを検討すること。

提案手法

• 2つのサッカークラブを標的とした、段階的にサイズとアノテーション品質が向上した3種類のトルコ語ツイートデータセットを構築した。1つは単一アノテーターによるラベル、残り2つは二重アノテーターの合意に基づくもので、いずれもスポーツ関連のツイートに特化している。
• 各データセットバージョンで10-fold交差検証を用いてSVM分類器を訓練し、ユニグラム、ビグラム、ハッシュタグ、外部リンク、絵文字、固有語彙を特徴セットとして使用した。
• 固有語彙は、高精度・高再現率を確保するための手動で検証された回答キーを用いて抽出し、特徴セットとしての有効性を評価した。
• 特徴セットの組み合わせを体系的にテストし、各スタンドクラス（賛成、反対、その他）の精度、再現率、F1スコアを測定した。
• トークン化、ストップワード除去、正規化といった標準的なNLP技術を採用し、絵文字特徴は事前に定義された辞書から抽出した。
• 最終的なモデル構成では、ユニグラム、ハッシュタグ使用状況、固有語彙を入力特徴として使用し、全データセットバージョンで最高のパフォーマンスを達成した。

実験結果

リサーチクエスチョン

• RQ1 高品質で公開可能なトルコ語ツイート用スタンドアングレーディング付きデータセットを構築・公開することは可能か？
• RQ2 ユニグラム、ビグラム、ハッシュタグ、リンク、絵文字、固有語彙のうち、どの特徴セットの組み合わせがトルコ語スポーツツイートにおけるスタンド検出で最高のパフォーマンスを発揮するか？
• RQ3 固有語彙とハッシュタグは、トルコ語ソーシャルメディアテキストにおけるスタンド検出性能をどの程度向上させるか？
• RQ4 アノテーションの信頼性が向上するに従い、サイズが拡大するデータセットバージョンにおいて、SVMベースの分類器のパフォーマンスはどのように変化するか？

主な発見

• ユニグラム特徴、ハッシュタグ使用状況、固有語彙の組み合わせが、3番目のデータセットバージョンで最高のF1スコア84.2%を達成し、他のすべての特徴セットの組み合わせを上回った。
• 最適な特徴セットを用いた場合、3番目のデータセットバージョンにおいて、賛成クラスのF1スコアは85.8%、反対クラスは82.6%に達した。
• 固有語彙の導入によりパフォーマンスが顕著に向上し、固有語彙なしのF1スコア81.5%から、固有語彙ありの84.2%に上昇した。これは、固有語彙が強い識別的パワーを持つことを示している。
• ハッシュタグを特徴として使用することでパフォーマンスが向上した。これは、ハッシュタグの内容がトルコ語ツイートにおいて意味のあるスタンド関連の信号を含んでいる可能性を示唆している。
• 特に2重アノテーターの合意に基づく第3バージョン（1,500件を超えるツイートを含む）は、将来的なトルコ語スタンド検出研究における信頼性がありスケーラブルなベンチマークを提供する。
• 本研究は、SVMベースのモデルが最も洗練されたデータセットバージョンでF1スコア80%以上を達成するなど、トルコ語スタンド検出の強固なベースラインを確立した。