[論文レビュー] Interest-oriented Universal User Representation via Contrastive Learning

Qinghui Sun, Jie Gu+6 more|arXiv (Cornell University)|Sep 18, 2021

Domain Adaptation and Few-Shot Learning参考文献 25被引用数 5

ひとこと要約

本稿では、対照的自己教師あり学習と学習可能な利害辞書を備えたマルチリーダー抽出モジュールを用いて、利害志向型の普遍的ユーザ表現フレームワークを提案する。長期間および短期間の利害モデリングのための対照的学習を共同最適化し、学習された利害に基づいて行動シーケンスを統合することで、タスク固有のファインチューニングなしに複数の下流タスクで最先端の性能を達成する。

ABSTRACT

User representation is essential for providing high-quality commercial services in industry. Universal user representation has received many interests recently, with which we can be free from the cumbersome work of training a specific model for each downstream application. In this paper, we attempt to improve universal user representation from two points of views. First, a contrastive self-supervised learning paradigm is presented to guide the representation model training. It provides a unified framework that allows for long-term or short-term interest representation learning in a data-driven manner. Moreover, a novel multi-interest extraction module is presented. The module introduces an interest dictionary to capture principal interests of the given user, and then generate his/her interest-oriented representations via behavior aggregation. Experimental results demonstrate the effectiveness and applicability of the learned user representations.

研究の動機と目的

• タスクに依存しない普遍的ユーザ表現を開発し、ファインチューニングなしに多様な下流アプリケーションに一般化すること。
• 統一フレームワーク内で長期的および短期的ユーザ利害を捉えることで、ユーザ表現学習を向上させること。
• 一般化能力に欠け、各新しいアプリケーションごとに高価な再トレーニングを要するタスク固有モデルの限界を解消すること。
• 明示的に多様なユーザ利害をモデリングできる学習可能な利害辞書および行動集約メカニズムを導入すること。

提案手法

• 正例ペアは、同じユーザーの異なる期間におけるユーザ表現であり、負例ペアはミニバッチ内での異なるユーザー間の表現である、対照的自己教師あり学習フレームワークを用いる。
• 入力時間スパンを変化させることで、潜在空間における対照的損失を最小化することで、ユーザー行動パターンを区別する学習が可能となり、長期的および短期的利害の共同学習が実現される。
• 各ユーザー行動に対して最も関連性の高い利害を特定できるように、利害辞書を導入し、主要なユーザ利害の明示的モデリングを可能にする。
• マルチリーダー抽出モジュールは、割り当てられた利害に基づいて行動を統合し、1人のユーザーに対して複数の利害志向型表現を生成する。
• 訓練の安定化と利害辞書のパラメータ更新の自己調整を図るため、正則化損失を適用する。
• テキストおよび構造化データ（例：アイテムID）の両方と互換性があり、多様なユーザ行動モダリティの統合を可能にする。

実験結果

リサーチクエスチョン

• RQ1 対照的自己教師あり学習は、統一されたユーザ表現フレームワーク内で、長期的および短期的ユーザ利害を効果的に捉えることができるか？
• RQ2 学習可能な利害辞書を組み込むことで、従来の手法と比較して多様なユーザ利害のモデリングがどの程度向上するか？
• RQ3 提案手法は、ファインチューニングなしに、さまざまな下流タスクにどの程度一般化できるか？
• RQ4 ハイパーパrameter（利害数Kおよび辞書サイズM）が、実世界のデータセットにおけるモデル性能に与える影響はいかほどか？

主な発見

• 提案手法Ours-ID-ICLは、評価されたすべてのタスクで最高の性能を達成し、動的ルーティングを用いたバリアント（Ours-Caps-ICL）および標準的対照的学習（Ours-ID-CL）を上回った。
• Amazonデータセットでは、テキストベースおよびIDベースの表現を組み合わせることでAUCが1%向上し、構造化データとの有効性が示された。
• 産業界データセットでは最適な設定がK=5およびM=100であったが、AmazonデータセットではK=2およびM=20が最良の結果をもたらし、データセット依存のハイパーパrameter感受性が示された。
• 最適値を超えてKを増加させると、表現の重複とノイズが性能を低下させたため、制御された利害モデリングの重要性が強調された。
• アブレーションスタディにより、利害辞書および利害志向型対照的学習の両方が、一貫的かつ安定的に性能向上に寄与することが確認された。
• 従来の手法がテキストモダリティに限定されるのとは異なり、本モデルはカテゴリIDやアイテムIDなどの構造化データに対しても良好に一般化した。