[論文レビュー] POSO: Personalized Cold Start Modules for Large-scale Recommender Systems

Shangfeng Dai, Hao-Bin Lin+6 more|arXiv (Cornell University)|Aug 10, 2021

Recommender Systems and Techniques参考文献 25被引用数 7

ひとこと要約

本論文では、大規模なレコメンデーションシステム向けに、ユーザーの新規登録時における『パーソナライゼーションの沈没』問題を解消するための新規モジュールPOSOを提案する。POSOは、ユーザー集団に特化したサブモジュールとパーソナライズドゲートを用いる。個々のモジュールの組み合わせを割り当てることで、不均衡なユーザー集団のバランスを保ち、パーソナライズド特徴量を動的にルーティングすることで、計算コストをほとんど増加させずに新規ユーザーの視聴時間の向上を7.75%達成し、アイテムの新規登録時や非アクティブユーザーに対しても一般化効果を示す。

ABSTRACT

Recommendation for new users, also called user cold start, has been a well-recognized challenge for online recommender systems. Most existing methods view the crux as the lack of initial data. However, in this paper, we argue that there are neglected problems: 1) New users' behaviour follows much different distributions from regular users. 2) Although personalized features are involved, heavily imbalanced samples prevent the model from balancing new/regular user distributions, as if the personalized features are overwhelmed. We name the problem as the "submergence" of personalization. To tackle this problem, we propose a novel module: Personalized COld Start MOdules (POSO). Considering from a model architecture perspective, POSO personalizes existing modules by introducing multiple user-group-specialized sub-modules. Then, it fuses their outputs by personalized gates, resulting in comprehensive representations. In such way, POSO projects imbalanced features to even modules. POSO can be flexibly integrated into many existing modules and effectively improves their performance with negligible computational overheads. The proposed method shows remarkable advantage in industrial scenario. It has been deployed on the large-scale recommender system of Kwai, and improves new user Watch Time by a large margin (+7.75%). Moreover, POSO can be further generalized to regular users, inactive users and returning users (+2%-3% on Watch Time), as well as item cold start (+3.8% on Watch Time). Its effectiveness has also been verified on public dataset (MovieLens 20M). We believe such practical experience can be well generalized to other scenarios.

研究の動機と目的

• ユーザー新規登録時の『パーソナライゼーションの沈没』問題に対処すること。これは、不均衡なサンプルのため、パーソナライズド特徴量が埋もれてしまう状況である。
• モデルアーキテクチャにおけるパーソナライゼーションの強化により、新規ユーザーの推薦パフォーマンスを向上させること。
• 既存のアーキテクチャ（MLP、MHA、MMoEなど）に容易に統合できる柔軟で低コストのモジュールを設計すること。
• 新規ユーザーにとどまらず、非アクティブユーザー、再登録ユーザー、アイテム新規登録時などの状況にも一般化できるソリューションを提供すること。
• 異なるパーソナライズドコードとモジュールの特化の有効性を、実世界および公開ベンチマークで検証すること。

提案手法

• POSOは、特定のユーザー集団に特化したサブモジュールを導入し、各モジュールにバランスの取れたサンプル分布が確保されるようにする。
• 入力特徴量（パーソナライズドコード）から導出されるパーソナライズドゲートを用いて、サブモジュール出力を動的に組み合わせ、表現品質を向上させる。
• ゲーティング機構はすべてパーソナライズド特徴量に依存しており、不均衡データに起因する特徴量の埋もれを防ぐ。
• POSOはプラグインモジュールとして設計されており、マルチレイヤーパーセプトロン、マルチヘッドアテンション、マルチゲートド混合エキスパートなどの既存コンponentと互換性を持つ。
• MHAでは、学習済みゲートベクトルとの要素積により、キーやバリュー行列をパーソナライズする。このアプローチは、効率性を損なわずに実現される。
• 近似と解析を用いて、標準モジュールの軽量で効果的なパーソナライズドバージョンを導出し、計算コストを最小限に抑える。

実験結果

リサーチクエスチョン

• RQ1 極度のクラス不均衡がある状況下でも、パーソナライズド特徴量を効果的に活用できるか？
• RQ2 サブモジュールのアーキテクチャ的特化が、不均衡データにおけるパーソナライゼーションの沈没を緩和できるか？
• RQ3 パーソナライズドコードの選択が、新規登録時設定におけるモデルパフォーマンスに与える影響はいかほどか？
• RQ4 POSOは新規ユーザーにとどまらず、非アクティブユーザー、再登録ユーザー、アイテム新規登録時ユーザーに対してもどの程度一般化可能か？
• RQ5 POSOは、顕著な計算コストの増加を伴わずに、標準的なディープラーニングモジュールに効率的に統合可能か？

主な発見

• Kwaiプラットフォーム上での新規ユーザー視聴時間はPOSOにより7.75%向上し、顕著な産業的インパクトを示した。
• 本手法は非アクティブユーザーおよび再登録ユーザーに対しても一般化され、視聴時間の向上が2%〜3%達成された。
• アイテム新規登録時においては、視聴時間で3.8%の向上が得られた。
• バケット化された累積視聴回数をパーソナライズドコードとして使用すると、単純な指標や埋め込み表現を上回る最良のパフォーマンスを発揮した。
• POSOのサブモジュールは特化するようになる。例えば、新規ユーザーではあるゲートが支配的となるが、活動度が増すと別のゲートが優勢になる。
• MHAにおける最も効果的なPOSOバージョンは、キーやバリューをパーソナライズし、クエリは固定するアプローチを採用しており、パフォーマンスと効率性のバランスを最適化している。