[論文レビュー] Learning multi-faceted representations of individuals from heterogeneous evidence using neural networks

Jiwei Li, Alan Ritter+1 more|arXiv (Cornell University)|Oct 18, 2015

Topic Modeling参考文献 88被引用数 27

ひとこと要約

本論文では、ユーザーが生成したテキスト、ソーシャルネットワーク構造、ユーザー属性といった異種のソーシャル信号を統合して共有の密なベクトル埋め込みに変換することで、個人の多面的表現を統合的に学習する深層ニューラルネットワークフレームワークを提案する。言語的および関係的ヒントを活用することで、性別、職業、場所、友人関係予測の4つの主要なソーシャルメディア推論タスクにおいて顕著な性能向上を達成し、統合的証拠がより正確で頑健なユーザーモデリングを可能にすることを示している。

ABSTRACT

Inferring latent attributes of people online is an important social computing task, but requires integrating the many heterogeneous sources of information available on the web. We propose learning individual representations of people using neural nets to integrate rich linguistic and network evidence gathered from social media. The algorithm is able to combine diverse cues, such as the text a person writes, their attributes (e.g. gender, employer, education, location) and social relations to other people. We show that by integrating both textual and network evidence, these representations offer improved performance at four important tasks in social media inference on Twitter: predicting (1) gender, (2) occupation, (3) location, and (4) friendships for users. Our approach scales to large datasets and the learned representations can be used as general features in and have the potential to benefit a large number of downstream tasks including link prediction, community detection, or probabilistic reasoning over social networks.

研究の動機と目的

• オンラインソーシャルメディアにおける個人のモデリングを目的として、テキスト、属性、ネットワーク構造といった多様なソーシャル信号を統合するスケーラブルなディープラーニングフレームワークの開発。
• ノイズが多く、異種で、しばしば不完全なソーシャル証拠を、1つの整合的なユーザーモデルに統合する課題への対処。
• 共同最適化されたユーザーエンベッディングを用いて、個人およびグループレベルの行動推論を向上すること。
• 大規模なソーシャルデータセットにスケーリング可能な表現学習プロセスを実現しながら、下流タスクへの解釈可能性と汎化性能を維持すること。

提案手法

• 本モデルは、CBOWおよびパラグラフベクトルにインspiredされたニューラルネットワークアーキテクチャを用いて、ユーザー生成テキスト、ソーシャルネットワーク接続、ユーザー属性を同時に学習することでユーザーエンベッディングを学習する。
• テキストの文脈は、周囲の単語とユーザーのエンベッディングを入力として、その単語を予測する形でモデル化され、ユーザーのエンベッディングが文脈ベクトルに組み込まれる。
• 確率的勾配降下法を用いてユーザーのエンベッディングを最適化し、観測された単語の尤度を最大化するとともに、類似した属性や友人関係を持つユーザーをエンベッディング空間内で一致させる。
• 本フレームワークは、従来の単語およびノードエンベッディング手法を拡張し、ユーザー、テキスト、属性を統一されたベクトル空間で同時にモデリングすることで、ソーシャル信号全体に対するグローバルな推論を可能にする。
• 本モデルは、友情関係、属性の共有、類似したテキストを記述するユーザー同士が、ベクトル空間内で近接して埋め込まれるという同質性の原則を活用する。
• 言語モデリング、属性予測、リンク予測の信号を統合した共同最適化目的関数を用いて、1つの統一された表現を学習する。

実験結果

リサーチクエスチョン

• RQ1 統一されたディープラーニングフレームワークは、テキスト、属性、ネットワーク構造といった異種のソーシャル信号を、ユーザーモデリングのための表現学習に効果的に統合できるか？
• RQ2 テキストとソーシャル関係といった複数の証拠源を統合することで、性別、職業、場所予測といった個人属性推論タスクの精度がどの程度向上するか？
• RQ3 学習されたユーザーエンベッディングは、属性や行動が類似するユーザーがベクトル空間内で近接して表現されることをどの程度捉え込んでいるか？
• RQ4 学習された表現は、友人関係予測やソーシャルネットワーク上の確率的推論といった多様な下流タスクに一般化できるか？
• RQ5 本モデルは、大規模なソーシャルメディアデータセットにスケーリング可能であり、性能と頑健性を維持できるか？

主な発見

• 本モデルは、テキスト的およびネットワーク的証拠を統合することで、ユーザーユーザーの性別、職業、場所、友人関係予測において顕著な性能向上を達成した。
• テキスト的およびネットワーク的信号の両方を組み込むことで、単一のモodalitに比べて性能が向上し、マルチモーダル統合の価値を示した。
• 学習されたユーザーエンベッディングは自然に同質性を捉えている：類似した属性やソーシャル関係を持つユーザーは類似したベクトルで表現される。
• モデルは、カリフォルニアに住む男性が女性に比べて6.8倍、エンジニアである可能性が高いと予測している。これは、グループレベルの行動パターンを推論できる能力を示している。
• IT業界に従事するユーザーは、法律関係の職業に従事するユーザーに比べて、iPhoneを好む確率が2.5倍高いと予測しており、モデルがソーシャル属性に基づく確率的推論を実行できる能力を示している。
• 本フレームワークは良好に一般化可能であり、ConvNetsからの画像表現やその他のモダリティを容易に統合可能であり、多様なソーシャルメディアプラットフォームへの応用可能性を高めている。