[論文レビュー] The Impact of Popularity Bias on Fairness and Calibration in Recommendation

Himan Abdollahpouri, Masoud Mansoury+2 more|arXiv (Cornell University)|Oct 13, 2019

Recommender Systems and Techniques参考文献 20被引用数 19

ひとこと要約

本稿は、推薦アルゴリズムにおける人気バイアスが、ユーザーの真の好みからずれること（誤較正）を引き起こす仕組みを調査している。特に、人気アイテムにあまり関心のないユーザーに特に影響を与える。アルゴリズムの人の気のバイアス（人気上昇率として測定）と誤較正の増加の間に強い相関関係があることが示された。近傍ベースのアルゴリズムは、因子分解ベースの手法よりも高いバイアスと誤較正を示した。

ABSTRACT

Recently there has been a growing interest in fairness-aware recommender systems, including fairness in providing consistent performance across different users or groups of users. A recommender system could be considered unfair if the recommendations do not fairly represent the tastes of a certain group of users while other groups receive recommendations that are consistent with their preferences. In this paper, we use a metric called miscalibration for measuring how a recommendation algorithm is responsive to users' true preferences and we consider how various algorithms may result in different degrees of miscalibration. A well-known type of bias in recommendation is popularity bias where few popular items are over-represented in recommendations, while the majority of other items do not get significant exposure. We conjecture that popularity bias is one important factor leading to miscalibration in recommendation. Our experimental results using two real-world datasets show that there is a strong correlation between how different user groups are affected by algorithmic popularity bias and their level of interest in popular items. Moreover, we show algorithms with greater popularity bias amplification tend to have greater miscalibration.

研究の動機と目的

• 人気バイアスが推薦システムにおける公平性と較正に与える影響を調査すること。
• 人気アイテムに低い関心を持つユーザーが、アルゴリズム的人気バイアスによって他のユーザーよりも顕著に影響を受けるかどうかを検討すること。
• さまざまな推薦アルゴリズムにおいて、人気上昇率と誤較正の関係を分析すること。
• 公平性と較正の観点から、さまざまなアルゴリズムの性能を比較し、特にユーザーのグループ差に注目すること。
• 人気バイアスが、推薦システムにおける誤較正の根本的原因であるかどうかを検討すること。

提案手法

• 人気上昇率という指標を用いて人気バイアスを測定した。人気上昇率とは、推薦されたアイテムの平均の人気度と入力の人気度の比として定義される。
• 誤較正を、ユーザーの評価履歴におけるジャンル分布とその推薦におけるジャンル分布のずれとして定量化した。
• MovieLensデータセットを用いて、複数の推薦アルゴリズム（例：ItemKNN、UserKNN、SVD++、BMF、Most-Popular）を評価した。
• ユーザーを人気アイテムへの関心度でグループ化（例：男性 vs. 女性）し、人気バイアスの差別の的影響を評価した。
• p < 0.05 の有意水準を用いた統計的有意性検定を実施し、ユーザーのグループやアルゴリズム間での誤較正と人気上昇率を比較した。
• さまざまなアルゴリズムおよびユーザー層において、人気上昇率と誤較正の相関関係を分析した。

実験結果

リサーチクエスチョン

• RQ1 アルゴリズム的人気バイアスは、異なるユーザーのグループにおいて、推薦の誤較正にどのように影響を与えるか？
• RQ2 人気アイテムに低い関心を持つユーザーは、高い関心を持つユーザーよりも人気バイアスの影響を顕著に受けるか？
• RQ3 さまざまな推薦アルゴリズムにおいて、人気上昇率と全体的な誤較正の間に有意な相関関係があるか？
• RQ4 近傍ベースのアルゴリズム（例：ItemKNN, UserKNN）と因子分解ベースのアルゴリズム（例：SVD++, BMF）とでは、人気バイアスと誤較正をより顕著に拡大させるタイプがあるか？
• RQ5 人気バイアスが、グループ間の誤較正差として測定される推薦システムにおける不平等な取り扱いに、どの程度寄与しているか？

主な発見

• 人気アイテムに低い関心を持つユーザーは、顕著に高い人気上昇率を示しており、アルゴリズム的人気バイアスの影響を強く受けることがわかった。
• 人気アイテムに低い関心を持つグループ（MovieLensデータセットにおける女性）は、男性（1.76）よりも高い人気上昇率（1.91）を示し、バイアスの拡大が顕著に見られた。
• 同様に、このグループは男性（0.42）と比較して高い誤較正（0.48）を示しており、推薦がユーザーの真の好みと一致していないことが明らかになった。
• 人気上昇率と誤較正の間に強い正の相関関係がある：人気上昇率が高いアルゴリズム（例：Most-Popular 1.91）は、高い誤較正（0.48）を示した。
• 近傍ベースのアルゴリズム（例：ItemKNN、UserKNN）は、SVD++ や BMF といった因子分解ベースの手法と比較して、高い人気上昇率と誤較正を示した。
• SVD++ と BMF は、それぞれ人気上昇率が最も低く（0.33 と 0.87）、最も正確な較正を示しており、人気バイアスに対して強い耐性を示した。