[論文レビュー] Overcoming Language Variation in Sentiment Analysis with Social Attention

Yi Yang, Jacob Eisenstein|arXiv (Cornell University)|Nov 19, 2015

Topic Modeling参考文献 70被引用数 15

ひとこと要約

この論文では、言語的同調（社会的につながったユーザーが類似した言語を使用する）を注目メカニズムを用いて活用することで、感情分析の性能を向上させるニューラルネットワークモデルであるSocial Attentionを提案する。このモデルは、著者のソーシャルネットワーク内での位置に応じて複数の基本モデルの出力を重み付けし、個々のユーザーに適応した注意を実現する。本手法は、個々のユーザーのラベル付きデータを必要とせず、SemEvalのTwitterベンチマークにおいても、ベースラインより2–3%の精度向上を達成し、先行研究を上回る性能を示す。

ABSTRACT

Variation in language is ubiquitous, particularly in newer forms of writing such as social media. Fortunately, variation is not random, it is often linked to social properties of the author. In this paper, we show how to exploit social networks to make sentiment analysis more robust to social language variation. The key idea is linguistic homophily: the tendency of socially linked individuals to use language in similar ways. We formalize this idea in a novel attention-based neural network architecture, in which attention is divided among several basis models, depending on the author's position in the social network. This has the effect of smoothing the classification function across the social network, and makes it possible to induce personalized classifiers even for authors for whom there is no labeled data or demographic metadata. This model significantly improves the accuracies of sentiment analysis on Twitter and on review data.

研究の動機と目的

• ソーシャルメディアにおける言語の多様性、特に言語の意味が社会的グループごとに変化する現象に対処する。
• ユーザーごとにラベル付きデータを必要とする、人口統計的特徴に基づくモデルやパーソナライズドシステムの限界を克服する。
• ソーシャルネットワークの構造を言語的類似性の代理として活用し、ラベル付きデータが乏しい場合でも頑健な感情分類を可能にする。
• ソーシャルネットワーク全体にわたる分類関数の平滑化を通じて、多様な言語的コミュニティに一般化可能な手法を開発する。

提案手法

• モデルは、ソーシャルネットワークの異なる局所的領域に焦点を当てた複数の基本モデルの出力を動的に組み合わせる社会的注目メカニズムを用いる。
• 著者の埋め込み表現は、ネットワーク埋め込み技術（例：node2vec）を用いて学習され、各ユーザーのソーシャルグラフ内での位置を表現する。
• 注目重みは、各著者と各基本モデルとの社会的近接性に基づいて計算され、著者ごとにパーソナライズされた注目を実現する。
• 最終的な予測は、著者のネットワーク上の位置と各基本モデルとの類似性に基づいて決定される注目重みの加重平均である。
• アーキテクチャはクロスエントロピー損失を用いてエンドツーエンドで訓練され、注目パラメータは基本モデルと同時に最適化される。
• ソーシャルネットワーク構造を誘導的バイアスとして用いることで、言語的多様性に強い一般化性能が向上する。

実験結果

リサーチクエスチョン

• RQ1 言語的多様性が存在する状況でも、ソーシャルネットワーク構造を活用することで感情分類の性能を向上させることができるか？
• RQ2 社会的につながったユーザーが類似した言語を使用するという言語的同調が、感情分析における一般化性能の向上に寄与するか？
• RQ3 ソーシャルネットワークの領域に注目を向けるニューラルモデルは、低リソースな感情分類において、標準的なディープラーニングモデルやアンサンブルモデルを上回ることができるか？
• RQ4 個々の著者にラベル付きデータが全くない状況でも、ソーシャルネットワーク情報が性能向上にどの程度寄与するか？
• RQ5 人種的・文化的な属性情報や遠隔監視（distant supervision）に依存せずに、多様な言語的コミュニティに一般化できるか？

主な発見

• Social Attentionは、ソーシャルネットワーク情報を利用することで、関連するニューラルモデルやアンサンブルモデルと比較して2–3%の精度向上を達成する。
• SemEvalのTwitter 2013、2014、2015のテストセットにおいて、これまでに発表されたあらゆる結果を上回る性能を示す。
• アブレーションスタディの結果、性能向上の主な要因はモデルアーキテクチャではなく、ソーシャルネットワーク情報そのものであることが確認された。
• 社会的近接性を活用することで、ラベル付きデータのない著者に対しても、有効なパーソナライズド分類が可能になる。
• 本手法は言語的コミュニティ全体に一般化可能であり、『sick』という語が異なる社会的グループで異なる感情極性を持つような微細な意味的シフトを捉えることができる。
• 注目メカニズムにより、ソーシャルネットワーク全体にわたって分類関数が滑らかに平滑化され、言語の多様性に対する耐性が向上する。