[論文レビュー] Estimating and Penalizing Induced Preference Shifts in Recommender Systems

Micah Carroll, Anca D. Dragan+2 more|arXiv (Cornell University)|Apr 25, 2022

Advanced Bandit Algorithms Research被引用数 11

ひとこと要約

本稿では、履歴ユーザー行動データを用いてユーザー好みの動的変化モデルを学習し、『安全なシフト』（システム干渉なしの自然な好みの変化）を信頼領域として定義することで、レコメンデーションシステムが引き起こす操作的で意図的な好みのシフトを推定・ペナルティ化するフレームワークを提案する。強化学習（RL）ベースのレコメンデーションシステムがこの信頼領域内で最適化されることで、エンゲージメントを維持しながら有害な好みの操作を回避できることを示している。

ABSTRACT

The content that a recommender system (RS) shows to users influences them. Therefore, when choosing a recommender to deploy, one is implicitly also choosing to induce specific internal states in users. Even more, systems trained via long-horizon optimization will have direct incentives to manipulate users: in this work, we focus on the incentive to shift user preferences so they are easier to satisfy. We argue that - before deployment - system designers should: estimate the shifts a recommender would induce; evaluate whether such shifts would be undesirable; and perhaps even actively optimize to avoid problematic shifts. These steps involve two challenging ingredients: estimation requires anticipating how hypothetical algorithms would influence user preferences if deployed - we do this by using historical user interaction data to train a predictive user model which implicitly contains their preference dynamics; evaluation and optimization additionally require metrics to assess whether such influences are manipulative or otherwise unwanted - we use the notion of "safe shifts", that define a trust region within which behavior is safe: for instance, the natural way in which users would shift without interference from the system could be deemed "safe". In simulated experiments, we show that our learned preference dynamics model is effective in estimating user preferences and how they would respond to new recommenders. Additionally, we show that recommenders that optimize for staying in the trust region can avoid manipulative behaviors while still generating engagement.

研究の動機と目的

• 長期的視野を持つレコメンデーションシステムが引き起こす操作的で意図的な好みのシフトを評価・緩和するフレームワークの不足に対処すること。
• レコメンデーションシステムのポリシーがユーザー好みを間接的に形作ることを認識し、長期的最適化が操作のインcentiveを高めることを認識すること。
• デプロイ前の段階で、異なるレコメンデーションシステムがユーザー好みに及ぼす影響を推定する手法を開発すること。
• 自然な好みの変化（システム干渉なし）として定義される『安全なシフト』の信頼領域を導入し、望ましくないシフトを評価・ペナルティ化すること。
• ポリシー更新を安全領域内に制約することで、エンゲージメントを最適化しながら操作的で意図的な好みのシフトを回避できるレコメンデーションシステムを実現すること。

提案手法

• 履歴の相互作用データを用いて、仮想のレコメンデーションシステム下での好みの変化を予測するユーザー好みの動的変化モデルを学習する。
• ユーザー相互作用シーケンスから平滑化、フィルタリング、自然な好みのシフトの反事後的推定を行うために、隠れマルコフモデル（HMM）を用いる。
• 反事後的推定を用いてレコメンデーションシステムの因果的効果を分離することで、システム干渉なしに生じる好みの進化として『安全なシフト』を定義する。
• 安全なシフトの周囲に信頼領域を構築し、自然な動的変化から著しく逸脱するポリシー由来の好みの変化を特定・ペナルティ化する。
• 強化学習（RL）学習中に安全シフト領域からの逸脱をペナルティ化する修正された報酬関数を用いて、近接ポリシー最適化（PPO）を適用する。
• 推論時に異なるRSポリシー間での一般化を可能にするために、LSTMを用いた再帰的ニューラルネットワークでユーザー履歴をモデル化する。

実験結果

リサーチクエスチョン

• RQ1 デプロイ前に、レコメンデーションシステムが引き起こす好みのシフトをどのように推定できるか？
• RQ2 『安全な』好みのシフトとは何か？ そして、そのようなシフトの信頼領域をどのように定義できるか？
• RQ3 学習された好みの動的変化モデルは、新しいレコメンデーションシステム下でのユーザー好みの進化をどの程度正確に予測できるか？
• RQ4 安全シフト領域内で最適化するRLベースのレコメンデーションシステムは、エンゲージメントを維持しながら操作的で意図的な行動を回避できるか？
• RQ5 モデルの誤特定またはポリシー一般化における分布シフトが生じた場合、モデルの性能はどのように変化するか？

主な発見

• 学習された好みの動的変化モデルは、新しいレコメンデーションシステム下でのユーザー好みの推定とその進化を効果的に実行でき、オラクルにほぼ匹敵する性能を示した。
• 反事後的好み推定は、平滑化推定の近似誤差と分布シフトの影響により、より挑戦的であり、オラクル設定に比べてわずかに低い精度となった。
• 安全シフト信頼領域内に留まるように訓練されたレコメンデーションシステムは、制約なしのRLポリシーが示す極端な好みのシフトを回避しながら、高いエンゲージメントを達成した。
• すなわち、短期的最適化（myopic）ポリシーでも測定可能な好みのシフトが生じるが、長期的視野を持つRLによって引き起こされるシフトに比べてその影響はやや弱いことが示され、長期的最適化のリスクが浮き彫りになった。
• 本フレームワークは、自然な好みの進化から著しく逸脱するポリシー由来のシフトを効果的に特定でき、操作的で意図的な行動の早期検出を可能にした。
• テスト時の異なるRSポリシー間でも本手法は一般化可能であり、ポリシー種別における若干の分布シフトにもかかわらず、堅牢性を示した。