[論文レビュー] Balancing Accuracy and Fairness for Interactive Recommendation with Reinforcement Learning

Weiwen Liu, Feng Liu+4 more|arXiv (Cornell University)|Jun 25, 2021

Recommender Systems and Techniques参考文献 30被引用数 5

ひとこと要約

本稿では、統一された状態表現においてユーザーの好みとシステムの公平性を統合的にモデル化することで、動的に精度と公平性をバランスさせる強化学習フレームワークであるFairRecを提案する。変換率と公平性の二重報酬を最適化することにより、FairRecは、MovieLensおよびKivaのデータセットにおいて、最先端の手法を上回る推薦品質と公平な露出のトレードオフを達成する。

ABSTRACT

Fairness in recommendation has attracted increasing attention due to bias and discrimination possibly caused by traditional recommenders. In Interactive Recommender Systems (IRS), user preferences and the system's fairness status are constantly changing over time. Existing fairness-aware recommenders mainly consider fairness in static settings. Directly applying existing methods to IRS will result in poor recommendation. To resolve this problem, we propose a reinforcement learning based framework, FairRec, to dynamically maintain a long-term balance between accuracy and fairness in IRS. User preferences and the system's fairness status are jointly compressed into the state representation to generate recommendations. FairRec aims at maximizing our designed cumulative reward that combines accuracy and fairness. Extensive experiments validate that FairRec can improve fairness, while preserving good recommendation quality.

研究の動機と目的

• ユーザーの好みと公平性状態が時間とともに変化するインタラクティブレコメンデーションシステム（IRS）における精度と公平性のバランスをとる課題に対処すること。
• 各時刻で公平性を強制する静的公平性認識手法の限界を克服し、推薦品質の低下を防ぐこと。
• 動的意思決定のため、ユーザーの好みの動的変化とシステムレベルの公平性状態を統合した状態表現に同時にモデル化すること。
• 変換率と公平性を同時に最適化する二重報酬関数を設計し、長期的なバランスを実現すること。
• 実世界のIRSシナリオにおいて、高い推薦精度を維持しながら、公平性指標を顕著に改善できることを検証すること。

提案手法

• FairRecは、ユーザー好み状態（UPS）と公平性状態（FS）を統合した状態表現に基づいてアイテムを選択する強化学習フレームワークを採用する。
• ユーザー好み状態（UPS）は、埋め込み表現とアテンション機構を用いて、パーソナライズされた好みと多様性志向行動を捉える。
• 公平性状態（FS）は、デモグラフィックグループごとの履歴露出状況と行動分布を追跡し、現在のシステムの公平性状態を反映する。
• 二重の累積報酬を設計：一方の成分は変換率（CVR）を最大化し、もう一方は公平性正則化項を用いて不平等を最小化する。
• 深層Qネットワーク（DQN）またはポリシーに基づく強化学習アルゴリズムを用いて、ユーザーのフィードバックに応じて時間経過とともに最適な推薦ポリシーを学習する。
• ユーザーのインタラクションに基づいて状態表現を段階的に更新することで、変化する好みと公平性条件にオンラインで適応可能となる。

実験結果

リサーチクエスチョン

• RQ1 長時間の相互作用セッションにわたり、強化学習フレームワークがインタラクティブレコメンデーションシステムにおいて精度と公平性を効果的にバランスさせられるか。
• RQ2 状態表現にユーザーの好みとシステムの公平性を統合的にモデル化することで、個別にモデル化する場合に比べて推薦結果がどのように向上するか。
• RQ3 変換率と公平性指標を組み合わせた二重報酬関数が、標準の精度最適化または公平性最適化の目的関数に比べて、どの程度優れているか。
• RQ4 提案されたフレームワークは、デモグラフィックグループ間での不均等な露出割り当てを顕著に低減させながら、高い推薦品質を維持できるか。
• RQ5 FairRecの個々の構成要素—状態表現、報酬設計、学習アルゴリズム—は、全体のパフォーマンスにどの程度寄与しているか。

主な発見

• FairRecは、MovieLensで6.6776の全体的な公平性向上（UFG）を達成し、Kivaでは2.8555を記録し、ベースラインを著しく上回る。
• アブレーションスタディの結果、公平性を報酬に含めないFairRec(reward-)は、MovieLensでCVR 0.8561という高い水準を達成するが、公平性は著しく低いことが判明し、公平性認識報酬設計の必要性が裏付けられた。
• シンプルな状態表現を用いるFairRec(state-)は、MovieLensでCVRが0.8194に著しく低下し、提案された統合状態符号化の重要性が検証された。
• MovieLensではCVR 0.8702を維持しながら、公平性スコア（PropFair）0.8666を達成しており、精度と公平性の強いバランスが図られている。
• Kivaデータセットでは、CVR 0.6905とPropFair 0.8838を達成し、実世界のマイクロレンディングシナリオにおいても高い性能を示した。
• 結果から、FairRecは短期的な公平性の不均衡を長期的ポリシー学習によって是正できることを確認し、各時刻で公平性を強制する手法の欠陥を回避できることを示した。