[論文レビュー] PTUM: Pre-training User Model from Unlabeled User Behaviors via Self-supervision

Chuhan Wu, Fangzhao Wu+4 more|arXiv (Cornell University)|Oct 4, 2020

Topic Modeling参考文献 14被引用数 10

ひとこと要約

本稿では、大規模なラベルなしユーザー行動データを活用して普遍的なユーザー表現を学習する自己教師あり事前学習フレームワークPTUMを提案する。マスクされた行動予測と次のK個の行動予測を自己教師ありタスクとして導入することで、ラベル付きデータが限られる状況でも、複数のユーザーモデリングタスクにおける下流性能が向上する。

ABSTRACT

User modeling is critical for many personalized web services. Many existing methods model users based on their behaviors and the labeled data of target tasks. However, these methods cannot exploit useful information in unlabeled user behavior data, and their performance may be not optimal when labeled data is scarce. Motivated by pre-trained language models which are pre-trained on large-scale unlabeled corpus to empower many downstream tasks, in this paper we propose to pre-train user models from large-scale unlabeled user behaviors data. We propose two self-supervision tasks for user model pre-training. The first one is masked behavior prediction, which can model the relatedness between historical behaviors. The second one is next $K$ behavior prediction, which can model the relatedness between past and future behaviors. The pre-trained user models are finetuned in downstream tasks to learn task-specific user representations. Experimental results on two real-world datasets validate the effectiveness of our proposed user model pre-training method.

研究の動機と目的

• 既存のユーザーモデリング手法がラベル付きデータに過度に依存しており、ラベルなしユーザー行動に内在する普遍的パターンを十分に活用できないという限界を解消すること。
• 自己教師あり事前学習をユーザー行動系列に適応させることで、事前学習された言語モデルとユーザーモデリングのギャップを埋めること。
• 大規模なラベルなしユーザー行動データを活用することで、ラベル付きデータが少ない状況下でもユーザー表現学習を改善すること。
• 過去と未来の行動間の時間的ダイナミクスと歴史的行動の関連性を捉えるように、ユーザー行動系列に特化した自己教師ありタスクを設計すること。

提案手法

• 2段階のフレームワークを提案：まずラベルなしユーザー行動で事前学習を行い、次にラベル付きデータで下流タスクに微調整する。
• 行動内関連性をモデル化するため、ランダムにマスクされた行動を残りの行動から予測する「マスクされた行動予測（MBP）」タスクを設計する。
• 過去の行動から次のK個の未来の行動を予測する「次のK個の行動予測（NBP）」タスクを導入し、時間的依存性を捉える。
• ハイパーパrameter λ を用いた重み付き損失関数により、MBP と NBP の両方の目的関数を統合し、事前学習段階で2つのタスクのバランスを調整する。
• 個々の行動を埋め込み（例：埋め込み層やCNN）する行動エンコーダと、行動埋め込みを統合してユーザー表現を生成するユーザーエンコーダ（例：GRU、Transformer、自己注意機構）を用いる。
• 標準的な教師あり学習を用いて、CTR予測や人口統計的分類などの下流タスクで事前学習済みユーザーモデルを微調整する。

実験結果

リサーチクエスチョン

• RQ1 大規模なラベルなしユーザー行動データに対する自己教師あり事前学習は、下流のパーソナライズドレコメンデーションタスクにおけるユーザー表現学習を改善できるか？
• RQ2 マスクされた行動予測と次のK個の行動予測は、ユーザーモデルの事前学習に有効な自己教師ありタスクとして機能するか？
• RQ3 事前学習は、ラベル付きデータが限られる状況でも性能の低下を緩和できるか？
• RQ4 提案された2つの自己教師ありタスクの最適なバランスは何か？また、K や λ などのハイパーパrameter が性能に与える影響は？

主な発見

• 実世界のデータセットにおいて、複数のユーザーモデリング手法（例：HSA、BERT4Rec）に対して、事前学習済みユーザーモデル（PTUM）は、エンドツーエンド学習されたモデルを常に上回る性能を示した。
• ラベル付きデータが限られる状況でのPTUMの性能向上が顕著であり、低データ環境下での有効性が裏付けられた。
• マスクされた行動予測タスクは、歴史的行動間の関係性を捉えることでモデル性能を向上させ、特に表現品質の向上が顕著に見られた。
• 次のK個の行動予測タスクは、過去と未来の行動間の時間的ダイナミクスを強化し、下流タスクの性能向上に寄与した。
• 両方の自己教師ありタスクを組み合わせることで最良の結果が得られ、短期的および長期的行動依存性の両方をモデル化する上で相乗効果があることが示された。
• 最適なハイパーパrameterは λ = 1 および K = 2 であると判明した。K が小さすぎる（例：K=1）と過学習や予測難易度の上昇により性能が低下した。