[論文レビュー] On component interactions in two-stage recommender systems

Jiri Hron, Karl Krauth+2 more|arXiv (Cornell University)|Jun 28, 2021

Advanced Bandit Algorithms Research参考文献 92被引用数 11

ひとこと要約

本論文は、2段階推薦システムにおけるコンponent間の相互作用が性能に顕著な影響を及えることを示し、ノミネーターとランカーを個別に訓練する一般的な手法に疑問を呈する。ノミネーターを学習可能なアイテムプール割り当てを持つMixture-of-Expertsとしてモデル化することで、独立学習やランダムベースラインを上回る精度と再現率（K）の向上を実現した。

ABSTRACT

Thanks to their scalability, two-stage recommenders are used by many of today's largest online platforms, including YouTube, LinkedIn, and Pinterest. These systems produce recommendations in two steps: (i) multiple nominators, tuned for low prediction latency, preselect a small subset of candidates from the whole item pool; (ii) a slower but more accurate ranker further narrows down the nominated items, and serves to the user. Despite their popularity, the literature on two-stage recommenders is relatively scarce, and the algorithms are often treated as mere sums of their parts. Such treatment presupposes that the two-stage performance is explained by the behavior of the individual components in isolation. This is not the case: using synthetic and real-world data, we demonstrate that interactions between the ranker and the nominators substantially affect the overall performance. Motivated by these findings, we derive a generalization lower bound which shows that independent nominator training can lead to performance on par with uniformly random recommendations. We find that careful design of item pools, each assigned to a different nominator, alleviates these issues. As manual search for a good pool allocation is difficult, we propose to learn one instead using a Mixture-of-Experts based approach. This significantly improves both precision and recall at K.

研究の動機と目的

• ノミネーターとランカーの相互作用が、個別コンponentの動作を越えて2段階推薦システムの性能に与える影響を調査すること。
• ノミネーターを独立して訓練する標準的手法に内在する限界を特定し、それがランダム推薦に匹敵しない性能にとどまることを明らかにすること。
• 各ノミネーターをアイテムプールの部分集合に特化させることで、全体のシステム性能が向上するかを検討すること。
• Mixture-of-Experts（MoE）アーキテクチャを用いた共同学習フレームワークを構築・評価し、最適なアイテムプール割り当てを学習すること。
• 2段階システムを統合的システムとみなす理論的・実証的根拠を提供すること。

提案手法

• 著者らは、独立したノミネーター学習が特定の条件下でランダム推薦と同等の性能に終わる可能性があることを示す一般化下界を導出している。
• 各ノミネーターが学習されたアイテムプールのサブセットに対してエキスパートとして機能するMixture-of-Experts（MoE）フレームワークを提案し、ゲーティングネットワークがユーザーの文脈に応じてどのノミネーターを使用するかを決定する。
• MoEモデルはノミネーターとゲーティング機構を同時に学習することで、手動での設計を伴わずに最適なアイテムプール分割を学習可能となる。
• 精度と再現率（K）を最適化する微分可能で、小規模なデータセットや高次元埋め込みにおける過学習を防ぐ正則化を含む訓練目的関数を採用している。
• 合成データおよび実世界のデータセットを用いた評価により、MoEベースの学習を独立学習および均等なプール割り当てと比較している。
• 理論的分析では、ランカーがレジームを低減する能力が、ノミネーターが生成する候補集合の質と多様性に依存することを示すレジーム分解が含まれている。

実験結果

リサーチクエスチョン

• RQ1 ノミネーターとランカーの相互作用は、2段階推薦システム全体の性能にどのように影響を与えるか？
• RQ2 ノミネーターの独立学習は、ランダム推薦に匹敵しない性能に終わる可能性があるが、その条件は何か？
• RQ3 アイテムプールの不重複部分集合に特化したノミネーターは、Kにおける精度と再現率に測定可能な向上をもたらすか？
• RQ4 Mixture-of-Expertsアーキテクチャは、手動設計または均等な分割を上回る効果的なアイテムプール割り当てを学習できるか？
• RQ5 MoEベースの共同学習戦略は、ベースライン学習手法と比較して、累積的レジームをどの程度低減できるか？

主な発見

• 独立したノミネーター学習は、一般化下界の理論的結果から、均等なランダム推薦と区別できない性能に終わる可能性があることが示された。
• 学習可能なアイテムプール割り当てを有するMixture-of-Expertsアプローチは、複数のデータセットおよび設定において、精度と再現率（K）の両方を顕著に向上させた。
• 各ノミネーターが別個のサブセットに特化するようにプールが分割された場合、候補集合の多様性が向上し、性能向上が顕著に現れた。
• MoEモデルは、訓練データが小さい（例：100サンプル/アーム）または埋め込み次元が高い場合にのみ性能を発揮しないが、ハイパーパramータチューニングと正則化によりこれらの問題は緩和可能である。
• MoEフレームワークのゲーティング機構は、任意の固定されたプール割り当てを回復可能であり、モデルの性能劣化はアーキテクチャ的制限ではなく最適化または過学習に起因することが示された。
• 実証的結果から、共同MoE学習は、特に各ノミネーターのモデリング能力が限られる状況において、独立学習および均等割り当てを常に上回ることがわかった。