[論文レビュー] CIRS: Bursting Filter Bubbles by Counterfactual Interactive Recommender System

Chongming Gao, Shiqi Wang+7 more|arXiv (Cornell University)|Apr 4, 2022

Recommender Systems and Techniques被引用数 12

ひとこと要約

本稿では、因果推論とオフライン強化学習を活用して、内因的関心と過剰露出効果を分離することで、ユーザー満足度をモデル化する、反事後的インタラクティブレコメンデーションシステムCIRSを提案する。学習された因果的ユーザーモデルを用いて不偏な反事後的報酬を生成することで、CIRSはフィルターバブルを効果的に低減し、インタラクティブレコメンデーション設定における長期的累積満足度を向上させる。

ABSTRACT

While personalization increases the utility of recommender systems, it also brings the issue of filter bubbles. E.g., if the system keeps exposing and recommending the items that the user is interested in, it may also make the user feel bored and less satisfied. Existing work studies filter bubbles in static recommendation, where the effect of overexposure is hard to capture. In contrast, we believe it is more meaningful to study the issue in interactive recommendation and optimize long-term user satisfaction. Nevertheless, it is unrealistic to train the model online due to the high cost. As such, we have to leverage offline training data and disentangle the causal effect on user satisfaction. To achieve this goal, we propose a counterfactual interactive recommender system (CIRS) that augments offline reinforcement learning (offline RL) with causal inference. The basic idea is to first learn a causal user model on historical data to capture the overexposure effect of items on user satisfaction. It then uses the learned causal user model to help the planning of the RL policy. To conduct evaluation offline, we innovatively create an authentic RL environment (KuaiEnv) based on a real-world fully observed user rating dataset. The experiments show the effectiveness of CIRS in bursting filter bubbles and achieving long-term success in interactive recommendation. The implementation of CIRS is available via https://github.com/chongminggao/CIRS-codes.

研究の動機と目的

• 類似コンテンツへの過剰露出が時間経過とともにユーザー満足度を低下させるという、インタラクティブレコメンデーションシステムにおけるフィルターバブルの深刻な問題に対処すること。
• 過剰露出による動的なユーザー満足度の変化をモデル化できない、静的および順序付きレコメンデーション手法の限界を克服すること。
• コンテンツの過剰露出が及える悪影響とユーザーの内因的関心を分離することで、長期的ユーザー満足度を最適化する手法を開発すること。
• 実際のユーザーデータから得た完全に観測可能な環境を基に、現実的で忠実な環境を用いて、インタラクティブレコメンデーション方策のオフライン評価を可能にすること。
• 即時の満足度と長期的ユーザー参加のバランスを取る強化学習方策を導くための因果フレームワークを提供すること。

提案手法

• オフライン強化学習と因果推論を組み合わせた反事後的インタラクティブレコメンデーションシステム（CIRS）を提案し、ユーザー満足度をモデル化する。
• 履歴データから因果的ユーザー モデルを学習し、ユーザー満足度に及ぼす過剰露出効果を推定し、内因的関心とは区別する。
• 因果的ユーザー モデルを用いて、異なる露出履歴下でのユーザー満足度の変化を反映する反事後的報酬を生成する。
• 反事後的報酬をオフラインRLの学習プロセスに統合し、長期的満足度の最大化を指向する方策学習を支援する。
• 実世界のレコメンデーションシステムから得た完全に観測可能なユーザー評価データに基づき、現実的で実用的なオフラインRL環境KuaiEnvを設計・公開する。
• 時間減衰関数を用いて過剰露出効果を定式化する：実際の露出に対しては$e_t(u,i)$、反事後的露出に対しては$e_t^*(u,i)$を定義し、減衰率を制御するハイパーパrameter $\tau$ と $\tau^*$ を用いる。

実験結果

リサーチクエスチョン

• RQ1 類似アイテムへの過剰露出は、インタラクティブレコメンデーションシステムにおける長期的ユーザー満足度にどのように影響を与えるか？
• RQ2 因果的ユーザー モデルは、満足度に及ぼす過剰露出効果と内因的ユーザー関心を効果的に分離できるか？
• RQ3 因果推論から導出された反事後的報酬は、インタラクティブレコメンデーションにおけるオフライン強化学習の性能をどの程度向上できるか？
• RQ4 CIRSは、フィルターバブルを打破し、より高い累積満足度を達成するために、ベースライン手法と比較してどのように優れているか？
• RQ5 提案されたKuaiEnv環境は、インタラクティブレコメンデーション方策の忠実なオフライン評価に適しているか？

主な発見

• 類似アイテムへの過剰露出は、ユーザー関心に合致するアイテムであっても、時間経過とともにユーザー満足度を著しく低下させることを確認し、フィルターバブルの存在とその影響を裏付ける。
• CIRSは、過剰露出のモデリングを通じて短期的報酬と長期的ユーザー参加のバランスを効果的にとることで、累積満足度においてベースライン手法を上回る性能を示した。
• アブレーションスタディの結果、因果推論コンponentを除いたCIRS w/o CIは性能が悪化しており、反事後的報酬の必要性を実証した。
• 過剰露出減衰に最適なハイパーパrameterペア $\tau$ と $\tau^*$ を用いることで、累積満足度が著しく向上し、これらのパラメータの感受性と重要性を示した。
• 提案されたKuaiEnv環境により、完全に観測されたユーザー好みを提供するため、インタラクティブレコメンデーション方策の忠実なオフライン評価が可能になった。
• CIRSは即時の満足度と持続的なユーザー参加の両立において最良のトレードオフを達成しており、現実世界に近い環境下でのフィルターバブル打破の有効性を確認した。