[論文レビュー] UTCNN: a Deep Learning Model of Stance Classificationon on Social Media Text

Wei-Fan Chen, Lun‐Wei Ku|arXiv (Cornell University)|Nov 11, 2016

Topic Modeling参考文献 17被引用数 11

ひとこと要約

UTCNN は、ユーザー埋め込み、トピック表現、コメント情報を取り入れることで、ソーシャルメディア上のステークホルダーシンパシー分類を向上させる深層学習モデルである。英語のディベートフォーラムデータでは 0.842 の精度を達成し、中国語の Facebook データでは 0.755 のマクロ F1 スコアを記録しており、ユーザー、トピック、コメント特徴を含まないモデルを著しく上回っている。また、オーバーサンプリングを用いないまま、データの不均衡を効果的に緩和している。

ABSTRACT

Most neural network models for document classification on social media focus on text infor-mation to the neglect of other information on these platforms. In this paper, we classify post stance on social media channels and develop UTCNN, a neural network model that incorporates user tastes, topic tastes, and user comments on posts. UTCNN not only works on social media texts, but also analyzes texts in forums and message boards. Experiments performed on Chinese Facebook data and English online debate forum data show that UTCNN achieves a 0.755 macro-average f-score for supportive, neutral, and unsupportive stance classes on Facebook data, which is significantly better than models in which either user, topic, or comment information is withheld. This model design greatly mitigates the lack of data for the minor class without the use of oversampling. In addition, UTCNN yields a 0.842 accuracy on English online debate forum data, which also significantly outperforms results from previous work as well as other deep learning models, showing that UTCNN performs well regardless of language or platform.

研究の動機と目的

• 既存のモデルがテキストにのみ焦点を当てているという制限を解消し、ユーザー、トピック、コメントの情報を統合することで、ステークホルダーシンパシー分類を向上させること。
• ユーザーの相互作用、トピックの影響、コメントコンテンツを統合した包括的な深層学習フレームワークを構築し、投稿のステークホルダーシンパシーを予測すること。
• オーバーサンプリング技術を用いないまま、少数派のステークホルダーシンパシークラスにおけるデータの不均衡を軽減すること。
• フォーラムやソーシャルメディアを含む、異なる言語およびプラットフォームにおいて、モデルの性能を評価すること。
• 学習されたユーザーおよびトピック埋め込みが、ステークホルダーシンパシー分類において意味的・関係的パターンを捉える有効性を示すこと。

提案手法

• UTCNN は、ユーザー投稿やユーザーのいいねの相互作用から、活動が少ないユーザー（例：1件のいいねや投稿のみ）に対しても、ユーザー埋め込みを共同で学習する深層ニューラルネットワークアーキテクチャを採用している。
• トピックモデルを統合し、投稿にトピックを割り当てており、トピック埋め込みは主題固有のステークホルダーシンパシー傾向や語彙使用パターンを捉えている。
• コメント情報は追加のテキスト入力として扱われ、CNN を用いて投稿のステークホルダーシンパシーに関連する意味的特徴を抽出している。
• テキスト特徴は畳み込みニューラルネットワーク（CNN）を用いて抽出され、文レベルの意味的特徴およびセンチメントをモデル化している。
• ユーザー、トピック、テキスト表現は、連結と全結合ネットワークを経て統合され、支持的、中立的、反対的の3つのステークホルダーシンパシークラスを予測する。
• ユーザーおよびトピック埋め込みはテキスト特徴と同時に学習され、ユーザー行動、トピック文脈、投稿内容の間の相関関係をモデルが捉えることができる。

実験結果

リサーチクエスチョン

• RQ1 ユーザー、トピック、コメントの情報を統合することで、テキストのみのモデルを上回るステークホルダーシンパシー分類性能を達成できるか？
• RQ2 最小限のユーザー行動（例：1件のいいね）から学習されたユーザー埋め込みは、ステークホルダーシンパシー予測にどのように寄与するか？
• RQ3 トピックモデリングは、特に主題固有の言語やステークホルダーシンパシー傾向の処理において、どの程度分類性能を向上させるか？
• RQ4 オーバーサンプリングを用いない状況でも、UTCNN は少数派のステークホルダーシンパシークラスにおける性能低下を効果的に低減できるか？
• RQ5 明示的な制約（例：ILP、CRF）やリンクベースのモデリング（例：PSL）を用いるモデルと比較して、UTCNN は精度および一般化性能において優れているか？

主な発見

• 中国語の Facebook データでは、UTCNN が 0.755 のマクロ F1 スコアを達成し、ユーザー、トピック、コメント情報を含まないモデルを著しく上回った。
• 英語の CreateDebate データでは、UTCNN が 0.842 の精度を達成しており、これは統計的に有意（p < 0.001）であり、ILP や CRF、PSL モデルを含む先行研究を上回っている。
• ユーザー情報の削除により、性能が著しく低下（精度 0.632 に低下）し、ユーザー埋め込みが最も重要な要因であることが示された。
• トピック情報の導入により、精度が 3.4% 向上し、主題固有の文脈が分類性能を向上させることを示している。
• テキスト特徴のみ、または従来の NLP 技法を用いるモデルと比較して、UTCNN は顕著に優れた性能を示しており、統合表現学習の価値を実証した。
• オーバーサンプリングを必要とせず、少数派のステークホルダーシンパシークラスにおいてもバランスの取れた性能を維持しており、データの不均衡を効果的に緩和している。