[論文レビュー] Breaking Feedback Loops in Recommender Systems with Causal Inference

Karl Krauth, Zhaoran Wang+1 more|arXiv (Cornell University)|Jul 4, 2022

Advanced Bandit Algorithms Research被引用数 11

ひとこと要約

本稿では、フィードバックループを解消するための因果推論ベースの手法CAFL（Causal Adjustment for Feedback Loops）を提案する。CAFLは、レコメンデーションシステム自身の予測を補正することで、介入分布を推定し、フィードバックループを解消する。CAFLは推薦品質を向上させ、均質化を低減し、先行する補正手法よりもシミュレーションで優れた性能を示し、最も良い手法より相対的にMSEが5.2%改善された。

ABSTRACT

Recommender systems play a key role in shaping modern web ecosystems. These systems alternate between (1) making recommendations (2) collecting user responses to these recommendations, and (3) retraining the recommendation algorithm based on this feedback. During this process the recommender system influences the user behavioral data that is subsequently used to update it, thus creating a feedback loop. Recent work has shown that feedback loops may compromise recommendation quality and homogenize user behavior, raising ethical and performance concerns when deploying recommender systems. To address these issues, we propose the Causal Adjustment for Feedback Loops (CAFL), an algorithm that provably breaks feedback loops using causal inference and can be applied to any recommendation algorithm that optimizes a training loss. Our main observation is that a recommender system does not suffer from feedback loops if it reasons about causal quantities, namely the intervention distributions of recommendations on user ratings. Moreover, we can calculate this intervention distribution from observational data by adjusting for the recommender system's predictions of user preferences. Using simulated environments, we demonstrate that CAFL improves recommendation quality when compared to prior correction methods.

研究の動機と目的

• フィードバックループがユーザ行動データにバイアスをもたらし、推薦品質を低下させることの影響を是正すること。
• 複数の時間ステップにわたるレコメンデーションシステムの動的動作を、構造的因果モデルとして形式化すること。
• 既存の損失最小化レコメンデーションアルゴリズムが、ランダム推薦を必要とせず、性能を犠牲にすることなくフィードバックループを解消できる手法を開発すること。
• 因果的推論、特に介入分布を用いることで、フィードバックループに起因するデータバイアスを是正できることを示すこと。
• ポジティビティ仮定の違反（例えば、一度きりのアイテム推薦といった現実世界の制約）が生じても、CAFLが頑健に機能することを示すこと。

提案手法

• CAFLは、フィードバックループバイアスの主な要因であるレコメンデーションシステム自身のユーザ嗜好予測を補正することで、介入分布を推定する。
• 本手法は、ユーザおよびアイテムの潜在ベクトルを再パrameter化されたベータ分布でモデル化し、ユーザ-アイテム相互作用の現実的なシミュレーションを可能にする。
• 任意の損失最小化レコメンデーションアルゴリズムの損失関数に因果的補正を適用し、モデルアーキテクチャを変更せずに訓練重みを変更する。
• アルゴリズムは、レコメンデーションシステムの予測嗜好を補正することで、観測データから介入分布が同定可能であることを特定する。
• 推薦がユーザの行動に影響し、その結果モデルが更新されるという時間順序に沿ったシミュレーションフレームワークを活用し、フィードバックループを再現する。
• CAFLは、推定されたレコメンデーション予測の傾向に基づいて訓練サンプルの重みを再配分することで実装され、推薦とその観測行動への因果的影響を効果的に分離する。

実験結果

リサーチクエスチョン

• RQ1 因果推論を用いることで、推薦品質を損なうことなく、レコメンデーションシステムにおけるフィードバックループを解消できるか？
• RQ2 レコメンデーションシステム自身の予測を補正することで、フィードバックループが存在する状況でも介入分布を同定できる仕組みは何か？
• RQ3 CAFLは、動的推薦環境において、バイアス低減と予測性能向上の両面で、既存の補正手法を上回るか？
• RQ4 CAFLは、フィードバックループによって引き起こされる均質化効果をどの程度軽減できるか？
• RQ5 現実的な推薦制約（例：1回限りのアイテム推薦）において、標準的な因果仮定（例：ポジティビティ）が満たされない状況でも、CAFLは効果的に機能するか？

主な発見

• CAFLは予測性能を顕著に向上させ、平均二乗誤差（MSE）を1.818 ± 0.019まで低下させ、最も良い手法（Pan et al., 2021）の1.896 ± 0.042よりも相対的に5.2%の改善を達成した。
• CAFLは平均絶対誤差（MAE）を1.015 ± 0.005まで低下させ、ポピュラリティベースの再重み付けやPoisson Factorizationを含む、すべての先行補正手法を上回った。
• CAFLとPanの間のMSE改善幅は、PanとPoisson Factorizationの間の改善幅を上回っており、CAFLの顕著な性能向上を示している。
• CAFLは推薦の均質化を効果的に低減しており、フィードバックの影響を分離し、システムが人気または類似したアイテムに過剰に依存するのを防いでいることが示唆された。
• ポジティビティ仮定が満たされない状況（例：1人1回のアイテム推薦制約）においても、CAFLは高い性能を維持しており、その頑健性を示している。
• 結果から、モデルの誘導バイアスとデータのスパarsityが、フィードバックループ自体よりも均質化に強い影響を与える可能性があることが示唆され、動的システムにおけるバイアス要因の複雑さが浮き彫りになった。