[論文レビュー] Putting Things in Context: Community-specific Embedding Projections for Sentiment Analysis.

Yi Yang, Jacob Eisenstein|arXiv (Cornell University)|Nov 19, 2015

Topic Modeling被引用数 17

ひとこと要約

本稿では、ソーシャルネットワークのコミュニティごとの言語的変異をモデル化することで、ソーシャルメディア上のセンチメント分析の精度を向上させる、コミュニティ固有の単語埋め込み射影を提案する。グラフクラスタリングを用いてコミュニティを特定し、事前学習済み埋め込みの文脈に応じた射影を学習することで、人口統計的メタデータを必要とせずに、先行手法よりも顕著に精度を向上させる。

ABSTRACT

Variation in language is ubiquitous, and is particularly evident in newer forms of writing such as social media. Fortunately, variation is not random, but is usually linked to social factors. By exploiting linguistic homophily --- the tendency of socially linked individuals to use language similarly --- it is possible to build models that are more robust to variation. In this paper, we focus on social network communities, which make it possible to generalize sociolinguistic properties from authors in the training set to authors in the test sets, without requiring demographic author metadata. We detect communities via standard graph clustering algorithms, and then exploit these communities by learning community-specific projections of word embeddings. These projections capture shifts in word meaning in different social groups; by modeling them, we are able to improve the overall accuracy of Twitter sentiment analysis by a significant margin over competitive prior work.

研究の動機と目的

• 標準のセンチメント分析モデルの性能を損なうソーシャルメディアのテキストにおける言語的変異に対処する。
• 著者の人口統計的メタデータに依存せずに、異なるソーシャルネットワークコミュニティ間で語の意味がどのように変化するかをモデル化する。
• 社会的つながりを持つユーザーが類似した言語使用を共有する社会的言語的同型性（sociolinguistic homophily）を活用して、センチメント分類の精度を向上させる。
• トレーニング用コミュニティから得た言語的パターンを、トレーニングデータに含まれない未観測のテストコミュニティへ一般化する手法を開発する。
• コミュニティに配慮した埋め込み射影が、標準的な単語埋め込みアプローチを上回ることを示す。

提案手法

• ユーザーの相互作用ネットワークに標準的なグラフクラスタリングアルゴリズムを適用して、ソーシャルネットワークのコミュニティを検出する。
• 文脈に応じた語の意味の変化をモデル化するため、事前学習済み単語埋め込みのコミュニティ固有の線形射影を学習する。
• これらの射影を用いて、コミュニティ固有の意味的シフトを反映するように単語埋め込みを変換する。
• 射影された埋め込みを用いてセンチメント分類器をファインチューニングし、コミュニティ間での一般化を向上させる。
• 推論時にも、ユーザーのコミュニティ所属に基づいて埋め込みを適応させるために、同じ射影行列を用いる。
• 人口統計的ラベルなしで、トレーニングコミュニティからテストコミュニティへ社会的言語的パターンを転送するために、言語的同型性を活用する。

実験結果

リサーチクエスチョン

• RQ1 コミュニティ固有の埋め込み射影は、標準的な埋め込み手法と比較して、Twitterにおけるセンチメント分析のパフォーマンスを向上させるか？
• RQ2 人口統計的メタデータを一切使用せずに、ソーシャルコミュニティ間の言語的変異をどの程度正確に捉えることができるか？
• RQ3 本手法は、トレーニングデータに存在しない未観測のコミュニティへどの程度一般化できるか？
• RQ4 コミュニティレベルの意味的シフトをモデル化することで、多様なユーザー層にわたるより強固なセンチメント分類が可能になるか？
• RQ5 本手法のパフォーマンスは、センチメント分析分野における最先端のベースラインと比較してどの程度優れているか？

主な発見

• 提案手法は、競合する先行研究と比較して、センチメント分析の精度を顕著に向上させる。
• コミュニティ固有の埋め込み射影は、異なる社会的グループ間での語の意味のシフトを効果的に捉えている。
• 未観測のコミュニティへも良好に一般化しており、言語的変異に対して強い耐性を示している。
• 標準的な単語埋め込みや非コミュニティに配慮した射影を用いるモデルよりも、本手法が優れている。
• 人口統計的データなしで、社会的言語的パターンを効果的にモデル化するため、グラフクラスタリングを用いたコミュニティ検出が有効である。
• 言語的同型性が、コミュニティ間で意味的なパターンを効果的に転送するために活用されている。