[論文レビュー] PEPNet: Parameter and Embedding Personalized Network for Infusing with Personalized Prior Information

Jianxin Chang, Chenbin Zhang+5 more|arXiv (Cornell University)|Feb 2, 2023

Recommender Systems and Techniques被引用数 4

ひとこと要約

PEPNet は、ゲート機構を用いて埋め込み特徴量と深層ニューラルネットワークのパラメータを動的にパーソナライズすることで、マルチドメインおよびマルチタスク推薦を向上させるプラグアンドプレイ型ニューラルネットワークです。Kuaishou の本番システムでは、3億人以上のユーザーを対象として、複数の指標で 1% 以上のオンライン改善を達成しています。

ABSTRACT

With the increase of content pages and interactive buttons in online services such as online-shopping and video-watching websites, industrial-scale recommender systems face challenges in multi-domain and multi-task recommendations. The core of multi-task and multi-domain recommendation is to accurately capture user interests in multiple scenarios given multiple user behaviors. In this paper, we propose a plug-and-play extit{ extbf{P}arameter and extbf{E}mbedding extbf{P}ersonalized extbf{Net}work ( extbf{PEPNet})} for multi-domain and multi-task recommendation. PEPNet takes personalized prior information as input and dynamically scales the bottom-level Embedding and top-level DNN hidden units through gate mechanisms. extit{Embedding Personalized Network (EPNet)} performs personalized selection on Embedding to fuse features with different importance for different users in multiple domains. extit{Parameter Personalized Network (PPNet)} executes personalized modification on DNN parameters to balance targets with different sparsity for different users in multiple tasks. We have made a series of special engineering optimizations combining the Kuaishou training framework and the online deployment environment. By infusing personalized selection of Embedding and personalized modification of DNN parameters, PEPNet tailored to the interests of each individual obtains significant performance gains, with online improvements exceeding 1\% in multiple task metrics across multiple domains. We have deployed PEPNet in Kuaishou apps, serving over 300 million users every day.

研究の動機と目的

• データスパarsity とドメイン／タスクの分布シフトが同時に発生する産業界のレコメンデーションシステムにおける不完全なダブルシーサウの問題に対処すること。
• モデルの効率性やデプロイコストを損なわずに、複数のドメインおよび複数のタスク間で効果的な共同学習を可能にすること。
• 埋め込みとパラメータ空間の両方にパーソナライズされた事前情報を取り込むことができる、プラグアンドプレイ型アーキテクチャを導入すること。
• 既存のマルチドメインおよびマルチタスク学習手法が、同時に意味的非均質性とターゲットスパarsity を処理できないという限界を克服すること。
• Kuaishou のトレーニングおよびインファレンスパイプラインに統合することで、スケールにおける低遅延インファレンスを実現する、実世界でのデプロイに最適化すること。

提案手法

• 学習可能なゲート機構を用いる二重ブランチアーキテクチャを提案：埋め込みパーソナライズドネットワーク（EPNet）とパラメータパーソナライズドネットワーク（PPNet）。
• EPNet は、個々のユーザーに対する関連性に基づいて埋め込み特徴量を動的にスケーリングするユーザー固有のゲートを適用し、パーソナライズド特徴統合を可能にする。
• PPNet は、タスクおよびユーザー固有のゲートを用いて DNN の隠れユニット活性化を調整し、ユーザーおよびタスクごとにモデルパラメータを適応させ、スパarsity をバランスさせる。
• パーソナライズド事前情報（例：ユーザー行動履歴）をゲートネットワークの入力として統合し、ユーザーごとの動的適応を可能にする。
• 既存のレコメンデーションモデルと互換性があり、再トレーニングやデプロイのオーバーヘッドを最小限に抑えるモジュラーかつプラグアンドプレイ構造を設計する。
• Kuaishou のフレームワークに統合された、効率的なトレーニングおよびオンラインインファレンスのための工学的最適化を実施する。これには、量子化に配慮したトレーニングおよびモデルパーティショニングが含まれる。

実験結果

リサーチクエスチョン

• RQ1 複数のドメインにまたがる特徴の意味的非均質性と重要度の違いを扱いながら、タスク固有のスパarsity を効果的にモデル化する方法は何か？
• RQ2 パーソナライズドゲート機構は、モデルの複雑さを増さずにマルチドメインおよびマルチタスクレコメンデーションのパフォーマンスを向上させられるか？
• RQ3 埋め込み空間およびパラメータ空間の両方にパーソナライズド事前情報を統合することで、モデルの一般化性能およびオンライン指標にどのような影響を与えるか？
• RQ4 大規模産業界レコメンデーションシステムにおけるダブルシーサウ現象に、動的パラメータおよび埋め込みパーソナライズーションが及ぼす影響は何か？
• RQ5 プラグアンドプレイアーキテクチャは、実世界のデプロイにおいて、低インファレンス遅延を維持しながら顕著なパフォーマンス向上を達成できるか？

主な発見

• PEPNet は、Kuaishou のマルチドメイン・マルチタスクレコメンデーションシステムにおいて、複数の主要指標（例：CTR、エンゲージメント）で 1% を超えるオンラインパフォーマンス向上を達成した。
• モデルは、ドメインおよびタスク間でパーソナライズド特徴選択とパラメータ適応を可能にすることで、ダブルシーサウ効果を顕著に低減した。
• EPNet による埋め込みパーソナライズは、ユーザー固有の関連性に基づいて埋め込みを重み付けすることで、特徴統合を改善し、表現品質を向上させた。
• PPNet によるパラメータパーソナライズは、ユーザーおよびタスクごとに DNN 重みを適応させることで、スパースおよび密度の高い予測ターゲットのバランスを効果的に取った。
• プラグアンドプレイ設計により、Kuaishou の既存のトレーニングおよびサービングパイプラインへのシームレスな統合が可能となり、最小限のエンジニアリングオーバーヘッドで実現された。
• オフラインおよびオンラインの評価から、ショートビデオ発見や eコマースに類似したインタラクションを含む、多様なレコメンデーションシナリオにおいて一貫した改善が確認された。