[論文レビュー] Bias Disparity in Collaborative Recommendation: Algorithmic Evaluation and Comparison

Masoud Mansoury, Bamshad Mobasher+2 more|TU/e Research Portal|Aug 2, 2019

Recommender Systems and Techniques参考文献 30被引用数 5

ひとこと要約

この論文は、性別などの保護群とアイテムカテゴリをまたいで、異なる共同推薦アルゴリズムがバイアス格差（利用者の表明された好みと推薦アイテムとの差異）をどのように扱うかを評価している。Yelpデータセットのサンプルを用いて、近隣ベース、モデルベース、信頼に基づくアルゴリズムを比較した結果、TrustKNNはバイアス格差を顕著に低減し、高いアイテムカバレッジを維持するなど、公平性と安定性の面で他のモデルを上回った。

ABSTRACT

Research on fairness in machine learning has been recently extended to recommender systems. One of the factors that may impact fairness is bias disparity, the degree to which a group's preferences on various item categories fail to be reflected in the recommendations they receive. In some cases biases in the original data may be amplified or reversed by the underlying recommendation algorithm. In this paper, we explore how different recommendation algorithms reflect the tradeoff between ranking quality and bias disparity. Our experiments include neighborhood-based, model-based, and trust-aware recommendation algorithms.

研究の動機と目的

• 保護群と非保護群の利用者グループにおける、推薦アルゴリズムがバイアス格差（利用者の表明された好みと実際の推薦との差異）をどのように反映するかを調査すること。
• 多様な推薦アルゴリズムにおける順序付けの質、アイテムカバレッジ、バイアス格差のトレードオフを評価すること。
• 標準的な近隣ベースおよびモデルベース手法と比較して、信頼に基づくアルゴリズムがバイアス格差をどの程度低減するかを評価すること。
• システム設計者が、多様な利用者の好みをよりよく反映し、推薦における不平等な表現を低減するアルゴリズムを選択するための実用的洞察を提供すること。

提案手法

• 利用者の好みがアイテムカテゴリと性別に基づくグループにまたがる状況を分析するため、公開されているYelpデータセットのサンプルを用いた。
• 近隣ベース（UserKNN、ItemKNN、TrustKNN）、モデルベース（SLIM、ListRankMF、BiasedMF、SVD++）、信頼に基づく（SocialMF、TrustMF、SoReg）の複数のアルゴリズムを評価した。
• バイアス格差を、グループの好むアイテムカテゴリと、そのグループに推薦されたカテゴリとの乖離として測定した。
• 順序付けの質にはnDCGを、アイテムカバレッジには推薦に含まれるアイテムプロバイダーの割合を、全カテゴリにおける平均格差には平均的な格差を用いた。
• 信頼ベースのアルゴリズムにおける信頼行列のスパarsityを軽減するため、伝搬モデルを適用した。
• ハイパーパrameterの複数の設定において結果を報告し、安定性を確認するため、最高および最悪のnDCG値に注目した。

実験結果

リサーチクエスチョン

• RQ1 異なる共同推薦アルゴリズムは、アイテムカテゴリをまたいで保護群と非保護群の利用者グループ間のバイアス格差をどの程度低減できるか？
• RQ2 近隣ベース、モデルベース、信頼に基づく推薦アルゴリズムにおいて、順序付けの質、アイテムカバレッジ、バイアス格差の間のトレードオフはどのように変化するか？
• RQ3 信頼に基づく推薦アルゴリズムは、標準的な協調フィルタリング手法と比較して、バイアス格差をどの程度低減できるか？
• RQ4 信頼データのスパarsityは、信頼に基づくアルゴリズムがバイアス格差を低減する性能にどのように影響するか？
• RQ5 高いアイテムカバレッジを達成できる推薦アルゴリズムは、全カテゴリにおける平均バイアス格差も低く抑えることができるか？

主な発見

• 信頼に基づく近隣アルゴリズムであるTrustKNNは、男性および女性の両方の利用者において最も低いバイアス格差を達成し、女性の上位10の好むカテゴリのうち60％、男性のうち50％を、トップ10の推薦カテゴリに反映した。
• 近隣ベースのアルゴリズム、特にTrustKNNは、nDCGスコアがわずかに低いにもかかわらず、バイアス格差とアイテムカバレッジの両面でモデルベースのアルゴリズムを上回った。
• SLIMはモデルベースのアルゴリズムの中で最もバランスが良く、高いnDCGスコアと低い平均格差、同等のアイテムカバレッジを達成した。
• ランダムおよび最も人気のあるアイテムベースラインは、好みのターゲティングが欠如しているため、バイアス格差が最も低かったが、順序付けの質が著しく低く、公平性と正確性のトレードオフを浮き彫りにした。
• SoRegのような信頼ベースのモデルは、上位10の好むカテゴリにおけるバイアス格差を低減したが、全カテゴリにおける平均格差の改善には至らず、一般化能力に限界があった。
• アルゴリズム間の性能差は、バイアス格差とアイテムカバレッジの面で最も顕著であり、近隣モデルは濃いレーティングデータ下でも公平性指標においてより高いロバスト性を示した。