[論文レビュー] Author2Vec: A Framework for Generating User Embedding

Xiaodong Wu, Weizhe Lin+2 more|arXiv (Cornell University)|Mar 17, 2020

Authorship Attribution and Profiling参考文献 41被引用数 9

ひとこと要約

Author2Vecは、10,000人のRedditユーザーを対象に、BERTでエンコードされた文の表現と、著者識別を新たな教師なし事前学習目的として用いる、エンドツーエンドのニューラルネットワークフレームワークを提案する。この手法は、抑うつ症状検出やMBTIパーソナリティ分類といった下流タスクにおいて、微調整なしで最先端のF1スコアを達成し、従来のカウントベースおよび予測ベースのベースラインを上回る。

ABSTRACT

Online forums and social media platforms provide noisy but valuable data every day. In this paper, we propose a novel end-to-end neural network-based user embedding system, Author2Vec. The model incorporates sentence representations generated by BERT (Bidirectional Encoder Representations from Transformers) with a novel unsupervised pre-training objective, authorship classification, to produce better user embedding that encodes useful user-intrinsic properties. This user embedding system was pre-trained on post data of 10k Reddit users and was analyzed and evaluated on two user classification benchmarks: depression detection and personality classification, in which the model proved to outperform traditional count-based and prediction-based methods. We substantiate that Author2Vec successfully encoded useful user attributes and the generated user embedding performs well in downstream classification tasks without further finetuning.

研究の動機と目的

• タスク固有の微調整なしに、ソーシャルメディアのテキストからユーザーの内在的属性を捉えるエンドツーエンドのユーザー埋め込みシステムを開発すること。
• ユーザー属性分類における手動特徴工学の限界を克服し、判別力があり汎用的なユーザー表現を学習すること。
• 事前学習済みのユーザー埋め込みが、最小限の適応で多様な下流タスクに一般化できるかどうかを評価すること。
• 著者識別を代理目的として用いる教師なし事前学習が、意味のあるユーザー表現を学習する有効性を検討すること。

提案手法

• フレームワークは、BERTを用いてユーザーの投稿を文脈に依存する文の埋め込みに変換する。
• これらの文の埋め込みを用い、投稿の著者を候補著者群から予測する、新しい教師なし事前学習目的（著者識別）を適用する。
• 同じユーザーが投稿した全文のBERTでエンコードされた表現を、通常は平均プーリングによって集約することでユーザー埋め込みを生成する。
• データ漏洩を避けるために、トピックに特化したコンテンツを除外した、高品質な投稿をフィルタリングした10,000人のRedditユーザーでモデルを事前学習する。
• 事前学習後、微調整なしでロジスティック回帰を用いて下流分類タスクで学習済みのユーザー埋め込みを評価する。
• フレームワークは、慎重に選別されたRedditデータセットを用いて、抑うつ症状検出とMBTIパーソナリティ分類の2つのベンチマークで評価される。

実験結果

リサーチクエスチョン

• RQ1 著者識別に基づく教師なし事前学習目的が、意味のあるユーザー埋め込みを効果的に学習できるか？
• RQ2 微調整なしで、事前学習済みのユーザー埋め込みが下流分類タスクにどの程度一般化できるか？
• RQ3 Author2Vecは、従来のカウントベース（例：LDA、TF-IDF-LSI）および予測ベース（例：Word2Vec）手法よりも、ユーザー属性を捉える点で優れているか？
• RQ4 学習された埋め込みが、パーソナリティや精神的健康状態といった内在的ユーザー特性をどの程度にまでエンコードしているか？

主な発見

• MBTI分類において、Author2VecはE/I次元でF1スコア0.690、S/Nで0.766、T/Fで0.681、J/Pで0.610を達成し、すべてのベースラインを上回った。
• 抑うつ症状検出ベンチマークでは、視覚化分析における性別分類F1スコアが93.3%という優れた性能を示した。
• 16タイプのMBTI分類の混同行列では、クラスタリングの向上と誤分類の減少が見られ、とくにレアなタイプで顕著だった。
• 不均衡なデータセットに対しても性能が安定しており、ベースライン手法よりもレアクラスで優れたF1スコアを達成した。
• MBTIベンチマーク全体で、Author2VecはTF-IDF-LSI、LDA、Word2Vecベースラインを著しく上回った。
• 結果から、教師なし著者識別目的が、非自明な、ユーザー単位の言語的および行動的パターンを効果的に捉えていることが示された。