[論文レビュー] Zero Shot on the Cold-Start Problem: Model-Agnostic Interest Learning for Recommender Systems

Philip J. Feng, Pingjun Pan+3 more|arXiv (Cornell University)|Aug 30, 2021

Recommender Systems and Techniques参考文献 39被引用数 23

ひとこと要約

本論文は、ユーザ属性と行動の間のクロスモーダル再構成を用いた二重オートエンコーダーにより仮想ユーザ行動データを生成することで、レコメンデーションシステムにおけるコールドスタート問題に対処するモデルに依存しない二塔型フレームワークMAILを提案する。実稼働環境におけるNetEase Cloud Musicでのデプロイでは、クリックスルーレート（CTR）が13%〜15%向上し、既存ユーザへのパフォーマンス劣化を最小限に抑えつつ、旧ユーザから新ユーザへのゼロショットの興味転送が有効であることを示している。

ABSTRACT

User behavior has been validated to be effective in revealing personalized preferences for commercial recommendations. However, few user-item interactions can be collected for new users, which results in a null space for their interests, i.e., the cold-start dilemma. In this paper, a two-tower framework, namely, the model-agnostic interest learning (MAIL) framework, is proposed to address the cold-start recommendation (CSR) problem for recommender systems. In MAIL, one unique tower is constructed to tackle the CSR from a zero-shot view, and the other tower focuses on the general ranking task. Specifically, the zero-shot tower first performs cross-modal reconstruction with dual auto-encoders to obtain virtual behavior data from highly aligned hidden features for new users; and the ranking tower can then output recommendations for users based on the completed data by the zero-shot tower. Practically, the ranking tower in MAIL is model-agnostic and can be implemented with any embedding-based deep models. Based on the co-training of the two towers, the MAIL presents an end-to-end method for recommender systems that shows an incremental performance improvement. The proposed method has been successfully deployed on the live recommendation system of NetEase Cloud Music to achieve a click-through rate improvement of 13% to 15% for millions of users. Offline experiments on real-world datasets also show its superior performance in CSR. Our code is available.

研究の動機と目的

• 新規ユーザが行動履歴を持たないため発生するコールドスタート推薦（CSR）問題に対処すること。
• CSRにおけるスパースなユーザ行動空間とユーザ属性空間の間のモダリティシフト問題を克服すること。
• 既存のランクイングモデルを置き換えずに、実用的でモデルに依存しないモジュールを設計すること。
• ユーザ属性と学習済み埋め込みのみを用いて、旧ユーザから新ユーザへの有効な知識転送を可能にすること。
• 既存ユーザのパフォーマンスに最小限の悪影響を及えながら、新ユーザの推薦パフォーマンスを向上させること。

提案手法

• ゼロショット塔（仮想行動生成用）とモデルに依存しないランクイング塔（推薦用）からなる二塔型フレームワークを提案する。
• ユーザ行動とユーザ属性のそれぞれに別々の埋め込みを学習するため、二重オートエンコーダーを用い、それらを共有隠れ空間にマッピングする。
• 再構築された行動特徴と属性特徴の間でクロスモーダル再構成を実行し、モダリティを整列させ、分布シフトを低減する。
• 最大平均差分（MMD）損失を用いて、共有隠れ空間における旧ユーザと新ユーザの周辺分布を整列させる。
• 行動ベース、属性ベース、MMDの損失を組み合わせてエンドツーエンドで訓練することで、現実的な仮想行動データを生成するゼロショット塔を学習する。
• 生成された仮想行動データを、DPRやESMMなどの任意の埋め込みベースのランクイングモデルに統合し、段階的なパフォーマンス向上を実現する。

実験結果

リサーチクエスチョン

• RQ1 ユーザ属性から効果的に仮想ユーザ行動を合成することで、コールドスタート問題を軽減できるか？
• RQ2 ユーザ属性と行動の間のクロスモーダル整列は、どのように達成できるか？（モダリティシフト問題を最小限に抑えるために）
• RQ3 ビジョンベースのZSLと同等の成功を達成できるように、ゼロショット学習アプローチをコールドスタート推薦設定に適応できるか？
• RQ4 提案手法は、既存ユーザのパフォーマンスを劣化させることなく、新ユーザの推薦パフォーマンスを向上させられるか？
• RQ5 ゼロショット塔は、任意の既存ランクイングモデルにモデルに依存しない方法で統合可能で、段階的な改善を可能にするか？

主な発見

• NetEase Cloud MusicにおけるオンラインA/Bテストで、MAIL-DMRはクリックスルーレート（CTR）を13%〜15%相対的に向上し、コンversion率（CTCVR）も3%〜4%向上した。
• t-SNE可視化により、生成された特徴と実際の特徴の分布が重なっていることから、ゼロショット塔がユーザ属性と行動の間のモダリティシフトを顕著に低減していることが確認された。
• MAIL-DualとMAIL-Baseは、MAIL-NoneとMAIL-Singleを上回る性能を示し、二重クロスモーダル再構成とMMD正則化が、効果的な仮想行動生成に不可欠であることを示した。
• オフライン実験では、旧ユーザのランクイングパフォーマンスに悪影響がなく、AUCの低下はたった0.05%〜0.12%にとどまった。
• ランクイング塔およびすべてのコンポonent（行動ベース、属性ベース、MMD）の訓練損失が100バッチ以内に急速に減少し、モデルの訓練可能性と収束性を確認した。
• 産業界データセット上の可視化により、新ユーザの属性埋め込みが旧ユーザの埋め込みと密接に一致していることが確認され、行動転送のための共有属性空間の仮定が妥当であることが裏付けられた。