[論文レビュー] Contrastive Learning for Debiased Candidate Generation in Large-Scale Recommender Systems

Chang Zhou, Jianxin Ma+3 more|arXiv (Cornell University)|May 20, 2020

Domain Adaptation and Few-Shot Learning参考文献 58被引用数 11

ひとこと要約

本稿では、逆確率重み付け（IPW）と理論的に関連付けることで露出バイアスを低減する対照的学習フレームワーク、CLRec および Multi-CLRec を提案する。固定サイズのFIFOキューを用いて負例をキャッシュ・再利用することで、未探索のアイテムの豊かな特徴を効率的に符号化し、マシュー効果を顕著に低減し、計算コストの増加を最小限に抑えながら、候補生成における公平性と多様性を向上させる。

ABSTRACT

Deep candidate generation (DCG) that narrows down the collection of relevant items from billions to hundreds via representation learning has become prevalent in industrial recommender systems. Standard approaches approximate maximum likelihood estimation (MLE) through sampling for better scalability and address the problem of DCG in a way similar to language modeling. However, live recommender systems face severe exposure bias and have a vocabulary several orders of magnitude larger than that of natural language, implying that MLE will preserve and even exacerbate the exposure bias in the long run in order to faithfully fit the observed samples. In this paper, we theoretically prove that a popular choice of contrastive loss is equivalent to reducing the exposure bias via inverse propensity weighting, which provides a new perspective for understanding the effectiveness of contrastive learning. Based on the theoretical discovery, we design CLRec, a contrastive learning method to improve DCG in terms of fairness, effectiveness and efficiency in recommender systems with extremely large candidate size. We further improve upon CLRec and propose Multi-CLRec, for accurate multi-intention aware bias reduction. Our methods have been successfully deployed in Taobao, where at least four-month online A/B tests and offline analyses demonstrate its substantial improvements, including a dramatic reduction in the Matthew effect.

研究の動機と目的

• MLEに基づく学習が人気バイアスを強化する大規模なディープ候補生成（DCG）システムにおける深刻な露出バイアスを是正すること。
• 数十億規模のアイテムボキャブラリーを伴う大規模なDCGシステムにおいても、高いモデル表現力が維持される、スケーラブルで効率的なバイアス除去手法の開発。
• 対照的学習と逆確率重み付け（IPW）の理論的関連付けを確立し、バイアス低減におけるその有効性の新たな根拠を提供すること。
• 特に大規模環境下でも効率的な負例の豊かな特徴符号化を可能にする実用的フレームワークの設計。
• マシュー効果（人気アイテムが優位を占める現象）の低減により、推薦における公平性と多様性を向上させること。

提案手法

• CLRec は、過去のバッチから得られた正例およびその表現を、固定サイズの先入先出しあるいはFIFOキューに格納し、その後続のバッチで負例として再利用する。
• 本手法は、理論的に逆確率重み付け（IPW）と同等の対照的損失関数を用いることで、トレーニング中の露出バイアスを低減する。
• キューから事前に計算済みの表現を再利用することにより、キューのサイズがバッチサイズの10倍の場合、計算コストを最大90％まで削減できる。
• 負例に対する豊かな特徴符号化が可能となり、未探索のアイテムの表現品質が向上する。
• Multi-CLRec は、複数のユーザー意図をモデル化できるマルチキュー設計を導入し、より正確な意図に配慮したバイアス低減を実現する。
• 従来の手法とは異なり、別個の確率推定器をトレーニングする必要がなく、大規模環境下でも効率性を維持できる。

実験結果

リサーチクエスチョン

• RQ1 推薦システムの文脈において、対照的学習を逆確率重み付け（IPW）と理論的に結びつけることは可能か？
• RQ2 数十億規模の候補集合を持つ大規模なDCGに、対照的学習を効率的に適用することで露出バイアスを低減できるか？
• RQ3 キューを用いたメカニズムは、トレーニング速度を損なわせることなく、効率的かつ効果的な負例の特徴符号化を可能にするか？
• RQ4 提案手法はマシュー効果を低減し、候補生成における公平性と多様性を向上させるか？
• RQ5 複数のユーザー意図をモデル化できるように拡張可能か？これにより、より正確なバイアス低減が可能になるか？

主な発見

• CLRec は、推薦における人気アイテムの優位性が著しく低下することで、候補生成におけるマシュー効果が顕著に低減されていることが示された。
• ML-1M、Beauty、Steam の公開ベンチマークにおけるオフライン分析では、CLRec はサンプリングソフトマックスよりも多様性の高いアイテムセットを取得しており、集約的多様性が30〜50％向上した。
• 淘宝（Taobao）における4か月間のオンラインA/Bテストでは、CLRec が公平性と有効性において顕著な向上を示し、人気バイアスが明確に低減された。
• キューベースの設計により、キューがバッチサイズの10倍のサイズの場合、計算コストを最大90％まで削減でき、負例に対する豊かな特徴の利用が効率的に行えるようになった。
• Multi-CLRec は複数のユーザー意図をモデル化することで、性能をさらに向上させ、より正確で公平性の高い推薦を実現した。
• 対照的損失とIPWの理論的同等性は、対照的学習が推薦システムのバイアス除去に有効である理由を新たな視点から説明するものとなった。