[論文レビュー] Exploiting Behavioral Consistence for Universal User Representation

Jie Gu, Feng Wang+5 more|arXiv (Cornell University)|Dec 11, 2020

Recommender Systems and Techniques参考文献 21被引用数 4

ひとこと要約

本稿では、ユーザー行動の整合性を活用して普遍的なユーザー表現を学ぶ自己教師ありフレームワークである自己教師ありユーザーモデリングネットワーク（SUMN）を提案する。行動の一貫性損失を導入して潜在的なユーザー要因を保持し、表現能力を向上させるためにマルチホップ集約層を採用することで、タスク固有の微調整なしに、好み予測やユーザーパーソナライゼーションなどの下流タスクで最先端の性能を達成した。

ABSTRACT

User modeling is critical for developing personalized services in industry. A common way for user modeling is to learn user representations that can be distinguished by their interests or preferences. In this work, we focus on developing universal user representation model. The obtained universal representations are expected to contain rich information, and be applicable to various downstream applications without further modifications (e.g., user preference prediction and user profiling). Accordingly, we can be free from the heavy work of training task-specific models for every downstream task as in previous works. In specific, we propose Self-supervised User Modeling Network (SUMN) to encode behavior data into the universal representation. It includes two key components. The first one is a new learning objective, which guides the model to fully identify and preserve valuable user information under a self-supervised learning framework. The other one is a multi-hop aggregation layer, which benefits the model capacity in aggregating diverse behaviors. Extensive experiments on benchmark datasets show that our approach can outperform state-of-the-art unsupervised representation methods, and even compete with supervised ones.

研究の動機と目的

• タスク固有の再トレーニングが不要な、多様な下流タスクに一般化可能な普遍的ユーザー表現モデルの開発。
• タスク固有モデルの一般化能力の制限と高いリソースコストの問題の解決。
• 長期的なユーザー行動の一貫性を捉える自己教師あり学習目的関数の設計。
• 強化された集約手法により、多様で一貫性のないユーザー行動の表現品質の向上。
• 好み予測やユーザーパーソナライゼーションに適用可能な、転移可能な情報豊富なユーザー埋め込みの実現。

提案手法

• 入力行動系列からターゲット行動頻度を予測する新しい行動一貫性損失を提案。これにより、モデルは安定したユーザー要因を学習するよう促される。
• 共有パラメータを有するアテンションメカニズムを用いたマルチホップ集約層を導入。これにより、複数ホップにわたり繰り返しユーザー表現を精錬できる。
• 入力行動系列とターゲット行動系列の2本のブランチ構造を採用。両者を共通の普遍的表現空間にエンコードする。
• ラベルなしの大規模ユーザーログを用いた自己教師あり事前学習を実施。これにより、表現学習におけるラベルデータの必要性が不要になる。
• マルチホップ集約設計の有効性を評価するため、平均プーリングと最大プーリングをアブレーションベースラインとして用いる。
• 学習済み表現の可視化のためPCAを用い、ユーザーの好みに応じたクラスタリングが実現されていることを確認する。

実験結果

リサーチクエスチョン

• RQ1 行動の一貫性に基づく自己教師あり目的関数は、普遍的ユーザー表現学習を改善できるか？
• RQ2 マルチホップアテンション集約は、単純なプーリング手法に比べ、多様なユーザー行動を要約する上で優れているか？
• RQ3 ラベルなしで学習された普遍的表現は、好み予測などの下流タスクにどの程度一般化できるか？
• RQ4 明示的なシーケンスモデリングが欠落している影響は何か？また、トランスフォーマーを導入することで性能が向上するか？
• RQ5 好みのラベルが入手不可な状況下でも、学習済み表現は潜在的な好みに応じてユーザーが適切にクラスタリングされるか？

主な発見

• 工業界データセットにおいて、SUMNは年齢予測で64.47%、ベビー年齢予測で72.17%の精度を達成。教師あり手法を含むすべてのベースラインを上回った。
• マルチホップ集約層は、平均プーリングや最大プーリングに比べて顕著に性能を向上させ、特に行動多様性の高いユーザーに対して顕著な改善効果を示した。
• 行動一貫性損失を備えたSUMNは、SUMN-AEおよびSUMN-IDを常に上回り、提案された目的関数の有効性を裏付けた。
• マルチホップ層をトランスフォーマーに置き換えても1%未満の性能向上にとどまり、長期的ユーザー要因の観点では明示的なシーケンスモデリングの恩恵は限定的であることが示唆された。
• PCAを用いた可視化により、同じカテゴリの好みを持つユーザーがより近接して埋め込まれていることが確認され、モデルが意味的に意味のある表現を学習していることが裏付けられた。
• ラベルなしデータでの事前学習にもかかわらず、SUMNは教師あり手法と同等の性能を発揮した。これは、自己教師あり普遍的ユーザーモデリングの実現可能性を証明した。