[論文レビュー] Exploration in two-stage recommender systems

Jiri Hron, Karl Krauth+2 more|arXiv (Cornell University)|Sep 1, 2020

Advanced Bandit Algorithms Research参考文献 7被引用数 4

ひとこと要約

本稿は、二段階型レコメンデーションシステムにおけるLinUCBの単純な適用が、提示者（ nominator ）とランカー（ ranker ）間の特徴埋め込みとデータ正則化の不一致により線形のリグレットを引き起こすことを特定した。本稿では、既存のLinUCB計算にのみ依存して、事後分布の統計（平均と共分散）を二段階間で同期する単純な手法を提案し、リグレットを低減させ、シングルステージ型LinUCBと同等の近似的最適な性能を達成可能にした。

ABSTRACT

Two-stage recommender systems are widely adopted in industry due to their scalability and maintainability. These systems produce recommendations in two steps: (i) multiple nominators preselect a small number of items from a large pool using cheap-to-compute item embeddings; (ii) with a richer set of features, a ranker rearranges the nominated items and serves them to the user. A key challenge of this setup is that optimal performance of each stage in isolation does not imply optimal global performance. In response to this issue, Ma et al. (2020) proposed a nominator training objective importance weighted by the ranker's probability of recommending each item. In this work, we focus on the complementary issue of exploration. Modeled as a contextual bandit problem, we find LinUCB (a near optimal exploration strategy for single-stage systems) may lead to linear regret when deployed in two-stage recommenders. We therefore propose a method of synchronising the exploration strategies between the ranker and the nominators. Our algorithm only relies on quantities already computed by standard LinUCB at each stage and can be implemented in three lines of additional code. We end by demonstrating the effectiveness of our algorithm experimentally.

研究の動機と目的

• 標準的なLinUCB探索戦略が二段階型レコメンデーションシステムでなぜ失敗するかを調査すること。
• 特に、提示者とランカー間の特徴マッピングの不一致とデータ正則化の不一致に起因する性能の劣化の根本的原因を同定すること。
• 段階間の推定統計を同期することで、近似的最適な探索を回復する、最小限の複雑性の解決策を提案すること。
• シミュレーション環境において、同期化が線形リグレットを緩和し、リグレット性能を向上させることを実験的に検証すること。
• 統計的一致性が段階間で果たす役割に注目することで、LinUCBにとどまらず、「不確実性の面前での楽観主義（optimism in the face of uncertainty）」に該当する他のアルゴリズムに対しても、知見を拡張すること。

提案手法

• 本手法は、ランカーの不確実性推定値を用いて提示者の事後分布を更新する同期ステップを導入し、特に逆共分散行列と平均を一致させる。
• 過分散を抑えるために、KLダイバージェンスに基づく更新を用い、提示者の不確実性がランカーの不確実性を超えないように保証する。
• LinUCBの選択および更新ステップで既に計算済みの量のみを用いるため、追加コードはたったの3行で十分である。
• 同期化の2つのバリエーションを検討した：通常の更新の後に行う「ポストアップデート」型と、更新の前に行う「プリアップデート」型で、両者とも実験でほぼ同等の性能を示した。
• コアとなる式（式7）は、各ノミネーションの後、提示者の事後分布がそのアイテムについてランカーのものと一致することを保証し、不確実性推定値の乖離を防ぐ。
• 本手法は特定のLinUCB実装に依存せず、ベイジアン線形バンディットを用いる任意の二段階型システムに適用可能である。

実験結果

リサーチクエスチョン

• RQ1 なぜ、二段階型レコメンデーションシステムに単純に適用されたLinUCBは線形のリグレットを示すのか？
• RQ2 提示者とランカー間の特徴表現の不一致と、学習データ量の差が、探索性能にどのように影響するのか？
• RQ3 段階間の事後統計（特に平均と共分散）を同期させることで、二段階型LinUCBにおける近似的最適なリグレット性能を回復できるか？
• RQ4 このような同期化の計算オーバーヘッドはどの程度で、最小限のコード拡張で実装可能か？
• RQ5 この同期化手法は、「不確実性の面前での楽観主義」に該当する他の探索アルゴリズムにも一般化可能か？

主な発見

• 提示者とランカー間の不確実性推定値の乖離が原因で、単純な二段階型LinUCBの適用は線形のリグレットを引き起こす。
• リグレットの主な原因は、特徴埋め込みの不一致と、正則化レベル（すなわち、学習データ量）の差である。
• ランカーと提示者間で、特に平均と共分散の事後統計を同期させることで、リグレットギャップが効果的に解消される。
• 提案手法は、既に近似的最適とされているシングルステージ型LinUCBと同等のリグレット性能を達成する。
• プリアップデート型とポストアップデート型の両方の同期化バリエーションは、実験でほぼ同一の性能を示し、計算オーバーヘッドは最小限である。
• 本手法は、ランカーの事前学習量（γ）の変動に対しても頑健であり、γが高くなるほど同期化システムの性能が向上する。