[論文レビュー] Stance in Replies and Quotes (SRQ): A New Dataset For Learning Stance in Twitter Conversations

Ramón Villa-Cox, Sumeet Kumar+2 more|arXiv (Cornell University)|Jun 1, 2020

Topic Modeling被引用数 12

ひとこと要約

本稿では、5,200件を超えるラベルを有する、Twitter会話における否定および支持のスタンスを特定するための、人間ラベルによるスタンスデータセット「Stance in Replies and Quotes (SRQ)」を紹介する。このデータセットは、返信および引用文における否定および支持のスタンス検出を改善することを目的として設計されており、非中立的反応に偏った標的抽出手法を用いることで、よりバランスの取れたクラス分布を実現している。また、返信と引用には言語的パターンの違いがあることから、両者に別々のモデルが必要であることが示され、GloVeベースの深層学習モデルが、より複雑な特徴の組み合わせを上回る性能を示している。

ABSTRACT

Automated ways to extract stance (denying vs. supporting opinions) from conversations on social media are essential to advance opinion mining research. Recently, there is a renewed excitement in the field as we see new models attempting to improve the state-of-the-art. However, for training and evaluating the models, the datasets used are often small. Additionally, these small datasets have uneven class distributions, i.e., only a tiny fraction of the examples in the dataset have favoring or denying stances, and most other examples have no clear stance. Moreover, the existing datasets do not distinguish between the different types of conversations on social media (e.g., replying vs. quoting on Twitter). Because of this, models trained on one event do not generalize to other events. In the presented work, we create a new dataset by labeling stance in responses to posts on Twitter (both replies and quotes) on controversial issues. To the best of our knowledge, this is currently the largest human-labeled stance dataset for Twitter conversations with over 5200 stance labels. More importantly, we designed a tweet collection methodology that favors the selection of denial-type responses. This class is expected to be more useful in the identification of rumors and determining antagonistic relationships between users. Moreover, we include many baseline models for learning the stance in conversations and compare the performance of various models. We show that combining data from replies and quotes decreases the accuracy of models indicating that the two modalities behave differently when it comes to stance learning.

研究の動機と目的

• Twitter会話における否定および支持スタンスのための、大規模かつバランスの取れたスタンスデータセットの不足に対処すること。
• 「コメント」が大多数を占める傾向があり、否定が不足している既存のデータセットの限界を克服すること。
• 返信と引用を、スタンス表現における異なるモダリティとして区別する新しいデータセットを構築すること。
• フェイクニュース検出やコミュニティの極端化分析などの応用分野における会話内のスタンスモデリングを向上させること。
• ベースラインモデルを提供し、異なる入力特徴およびデータタイプ（返信、引用、統合）における性能を評価すること。

提案手法

• 否定を示す可能性の高い反応に偏ったツイート収集手法を開発し、クラスバランスの向上を図った。
• 2018年の米国における3つの対立的出来事および追加の出来事特化なしのデータから、応答-ターゲットペアを収集した。
• 応答-ターゲットペアの代表的サンプルを、支持、否定、中立のスタンスでラベル付けした。
• 明示的および暗黙的非中立的反応という2つの新しいスタンスカテゴリを導入し、誤差解析を強化した。
• GloVe、SKP、DMJ、および組み合わせ特徴を用いた複数のモデルを訓練・比較し、1層の全結合層とReLU活性化関数を採用した。
• カテゴリカル交差エントロピー損失とRMSProp最適化手法を用い、初期実験を通じて学習率および層サイズを調整した。

実験結果

リサーチクエスチョン

• RQ1 返信と引用でそれぞれ学習されたスタンス検出モデルの性能に違いはあり、それらを別々にモデリングする必要があるのか？
• RQ2 否定および支持スタンスの割合を高めたよりバランスの取れたデータセットを用いることで、少数クラスの性能が向上するのか？
• RQ3 異なる入力表現（GloVe、SKP、DMJ、組み合わせ）がスタンス分類性能に与える影響は何か？
• RQ4 返信と引用を1つのトレーニングセットに統合すると、モデルの精度が低下するのか？これは、スタンス表現に根本的な違いがあることを示唆するのか？
• RQ5 この限られた規模のデータセットにおいて、TF-IDF特徴を用いたSVMのような単純なモデルが、深層学習モデルを上回る性能を示すのか？

主な発見

• GloVeベースの深層学習モデルが、すべてのデータセットで最高のF1スコア（マイクロ）を達成し、SKPDMJのようなより複雑な特徴の組み合わせを上回った。
• 返信と引用の両方のデータを統合して学習させたモデルは、それぞれのモダリティ単体で学習させたモデルよりも性能が悪く、返信と引用には異なるスタンス表現パターンがあることが示された。
• 混同行列において否定クラスが最も高い性能を示し、データ収集手法がこの重要なクラスの検出を成功に導いたことが確認された。
• TF-IDF特徴を用いたSVMモデルの性能は、深層学習モデルと同等であり、限られた規模のスタンスデータセットでは単純なモデルも有効である可能性を示唆している。
• 1層の全結合層が、多層構造のネットワークを上回った。これは、このデータセットではモデルの複雑さが必ずしも性能向上に繋がらないことを示している。
• 明示的および暗黙的非中立スタンスカテゴリの導入により、文脈依存の分類課題をより詳細に特定する誤差解析が可能になった。