[論文レビュー] Social Media-based User Embedding: A Literature Review

Shimei Pan, Tao Ding|arXiv (Cornell University)|Jun 1, 2019

Mental Health via Writing参考文献 40被引用数 4

ひとこと要約

本レビューでは、近年のソーシャルメディアベースのユーザーエンベッディングに関する進展を概説し、異種データ（例：テキスト、画像、いいね、プロフィール）から低次元で統合的な表現を学ぶ手法に焦点を当てる。これらのエンベッディングが、データが限られる状況において転移学習を効果的に行い、過学習を軽減することで、性格、メンタルヘルス、政治的傾向といった人間の特徴や行動を予測する性能を向上させることを強調する。

ABSTRACT

Automated representation learning is behind many recent success stories in machine learning. It is often used to transfer knowledge learned from a large dataset (e.g., raw text) to tasks for which only a small number of training examples are available. In this paper, we review recent advance in learning to represent social media users in low-dimensional embeddings. The technology is critical for creating high performance social media-based human traits and behavior models since the ground truth for assessing latent human traits and behavior is often expensive to acquire at a large scale. In this survey, we review typical methods for learning a unified user embeddings from heterogeneous user data (e.g., combines social media texts with images to learn a unified user representation). Finally we point out some current issues and future directions.

研究の動機と目的

• 異種のソーシャルメディアデータ（テキスト、画像、いいね、プロフィール、ソーシャルネットワーク）から低次元で統合的なユーザーエンベッディングを学ぶ最近の手法を調査すること。
• 自動化されたユーザーエンベッディングが、性格予測、うつ病検出、政治的傾向推定などの下流タスクにおける性能をどのように向上させるかを検討すること。
• ユーザーエンベッディング研究における解釈可能性と倫理的課題を特定すること。
• 今後の研究方向性を整理すること。具体的には、時系列モデリング、マルチタスク学習、クロスプラットフォーム統合、解釈可能な表現学習の分野を含む。

提案手法

• 2013年から2019年までの間に、ソーシャルメディアユーザーデータにエンベッディング手法を適用した25件の最近の研究を体系的にレビューする。
• データタイプ、単一視点エンベッディング手法、補助学習タスク、マルチビューエンベッディング手法、ターゲットタスク、教師ありチューニングの6つの次元に沿って研究を分類する。
• 単一視点（例：word2vec、node2vec、ディープオートエンコーダー）とマルチビュー（例：早期/遅延統合、アテンション機構）学習アプローチに分類して、エンベッディング手法をカテゴライズする。
• 大規模なソーシャルメディアデータに対する自己教師ありおよび教師なし事前学習が、リソースが限られた下流タスクへの転移学習を可能にすることを分析する。
• テキスト、画像、ネットワーク構造といったマルチモーダル入力を、早期統合、遅延統合、または中間統合によって統一されたユーザーエンベッディング空間に統合する方法を評価する。
• 感情分析やコンテンツ生成などの補助タスクの活用が、学習されたユーザーエンベッディングの質を向上させることをレビューする。

実験結果

リサーチクエスチョン

• RQ1 マルチモーダルソーシャルメディアデータから得られる統合的ユーザーエンベッディングは、従来の特徴工学に比べて、人間の特徴や行動を予測する性能をどのように向上させるか？
• RQ2 ソーシャルメディアからの単一視点およびマルチビューのユーザーエンベッディング学習において、主に用いられる技術とアーキテクチャは何か？
• RQ3 自己教師ありまたは教師なし事前学習手法は、データが少ない状況での下流予測性能をどの程度向上させるか？
• RQ4 ソーシャルメディア分析におけるユーザーエンベッディングモデルの解釈可能性と倫理的課題における主な制限要因は何か？
• RQ5 今後の研究方向性として、時系列モデリング、マルチタスク学習、クロスプラットフォーム統合といった分野は、どのように分野の発展を促進するか？

主な発見

• 手作業による特徴抽出に依存する従来のベースラインに比べ、自己教師ありまたは自己教師ありのユーザーエンベッディングを用いた研究は、特にデータが限られる状況で顕著に優れた性能を示す。
• テキスト、画像、ソーシャルネットワークの特徴を統合するマルチビューのユーザーエンベッディング手法は、単一モodalなアプローチよりも、性格やメンタルヘルスの予測において高い正確性を達成する。
• 大規模なソーシャルメディアデータに対する自己教師あり事前学習は、うつ病検出や政治的傾向推定などの下流タスクにおいて一般化性能を向上させ、過学習を軽減する。
• 性能の向上にもかかわらず、大多数のユーザーエンベッディングモデルは解釈性が低く、予測を駆動する潜在的特徴を理解することが難しい。
• プライバシー侵害、同意の欠如、バイアスやステレオタイプに基づく有害な推論の可能性といった倫理的懸念は、現在の研究において十分に取り扱われていない。
• 今後の方向性として、時系列ユーザーエンベッディング、マルチタスク学習、クロスプラットフォーム統合は、モデルの頑健性、一般化性能、実世界への適用可能性を向上させる強力な可能性を秘めている。