[論文レビュー] Unbiased Cascade Bandits: Mitigating Exposure Bias in Online Learning to Rank Recommendation

Masoud Mansoury, Himan Abdollahpouri+4 more|arXiv (Cornell University)|Aug 7, 2021

Advanced Bandit Algorithms Research参考文献 31被引用数 23

ひとこと要約

本稿では、オンライン学習ランキング推薦システムにおける露出バイアスを軽減するために、線形カスケードバンディットアルゴリズムに統合された割引メカニズムであるUnbiased Cascade Banditsを提案する。頻繁に露出されたアイテムの利得を動的に低下させることで、累積報酬の損失を最小限に抑えつつ、アイテムおよびサプライヤーの露出公平性を著しく向上させた。実世界の2つのデータセットを用いた3つのバンディットアルゴリズムによる評価で検証された。

ABSTRACT

Exposure bias is a well-known issue in recommender systems where items and suppliers are not equally represented in the recommendation results. This is especially problematic when bias is amplified over time as a few popular items are repeatedly over-represented in recommendation lists. This phenomenon can be viewed as a recommendation feedback loop: the system repeatedly recommends certain items at different time points and interactions of users with those items will amplify bias towards those items over time. This issue has been extensively studied in the literature on model-based or neighborhood-based recommendation algorithms, but less work has been done on online recommendation models such as those based on multi-armed Bandit algorithms. In this paper, we study exposure bias in a class of well-known bandit algorithms known as Linear Cascade Bandits. We analyze these algorithms on their ability to handle exposure bias and provide a fair representation for items and suppliers in the recommendation results. Our analysis reveals that these algorithms fail to treat items and suppliers fairly and do not sufficiently explore the item space for each user. To mitigate this bias, we propose a discounting factor and incorporate it into these algorithms that controls the exposure of items at each time step. To show the effectiveness of the proposed discounting factor on mitigating exposure bias, we perform experiments on two datasets using three cascading bandit algorithms and our experimental results show that the proposed method improves the exposure fairness for items and suppliers.

研究の動機と目的

• カスケードバンディットアルゴリズムがオンライン学習ランキング推薦システムにおいて露出バイアスを本質的に緩和するかどうかを調査すること。
• 既存のカスケードバンディットアルゴリズムが時間経過とともに全アイテム空間をどれほど公平に探索するかを分析すること。
• 歴史的露出に基づく動的割引メカニズムを導入することで、これらのアルゴリズムにおける継続的な露出バイアスを是正すること。
• 提案手法が、推薦の関連性を損なわず、アイテムおよびサプライヤーの露出公平性を向上させる有効性を評価すること。

提案手法

• 累積露出が過去の時間ステップで高いアイテムの利得を低下させる、新しい割引要因を導入する。
• 露出に基づく割引要因を組み込むことで、カスケードバンディットアルゴリズムの利得関数を変更し、露出が不足しているアイテムの探索を促進する。
• CascadeLSB、CascadeLinUCB、CascadeHybridの3つのカスケードバンディットアルゴリズムにこの手法を適用し、探索行動を強化する。
• 割引効果の強さを制御するハイパーパrameter $ c $ を採用し、$ c = 0.5 $ および $ c = 1 $ で最適な値を経験的に特定した。
• 性能と公平性のトレードオフを評価するために、主にnステップレグレットとアイテムカバレッジ（IC）を指標として用いる。

実験結果

リサーチクエスチョン

• RQ1 既存のカスケードバンディットアルゴリズムは、時間経過とともにすべてのアイテムおよびサプライヤーをどれほど公平に探索・露出するか？
• RQ2 動的露出ベースの割引メカニズムは、推薦性能を劣化させることなく、アイテムおよびサプライヤーの露出公平性を向上させることができるか？
• RQ3 割引ハイパーパrameter $ c $ の選択が、レグレットと露出公平性のトレードオフにどのように影響するか？
• RQ4 提案手法は、累積報酬を維持しつつ、ベースラインのカスケードバンディットよりも露出公平性で優れているか？

主な発見

• 提案されたUnbiased Cascade Banditsは、オリジナルのアルゴリズムと比較して、アイテムカバレッジ（IC）を著しく向上させた。MovieLensデータセットでは $ c = 1 $ 時に最大98%のICを達成した。
• Last.fmデータセットでは、UnbiasedCascadeLSBが $ c = 0.5 $ 時にオリジナルバージョンよりも6.3%高いアイテムカバレッジを達成し、nステップレグレットの増加は無視できるほど小さかった。
• $ c ∈ \{0.5, 1\} $ の範囲で、両方のデータセットにおいて、提案手法はアイテムカバレッジおよび公平性指標でオリジナルアルゴリズムを一貫して上回った。
• ハイパーパrameter $ c $ の調整だけでは公平性が向上しなかったため、割引メカニズムそのものが不可欠であることが示された。これは、ハイパーパrameter最適化問題ではなく、本質的なメカニズムの導入であることを示唆している。
• 報酬性能は高い水準を維持した。露出公平性の大幅な向上にもかかわらず、nステップレグレットの増加は最小限に抑えられた。