[論文レビュー] A Survey on Popularity Bias in Recommender Systems

Anastasiia Klimashevskaia, Dietmar Jannach+2 more|arXiv (Cornell University)|Aug 2, 2023

Recommender Systems and TechniquesComputer Science参考文献 183被引用数 3

ひとこと要約

本サーベイは、推薦システムにおける人気バイアスに関する包括的な分析を提供し、その原因、検出手法、緩和技術を検討する。現在の研究は実世界の検証が限定的である一方で、オフライン実験に大きく依存していることが明らかであり、実用的影響力と公平性を高めるために、アプリケーション固有の評価および人間を含むループ（human-in-the-loop）研究の促進が求められる。

ABSTRACT

Recommender systems help people find relevant content in a personalized way. One main promise of such systems is that they are able to increase the visibility of items in the long tail, i.e., the lesser-known items in a catalogue. Existing research, however, suggests that in many situations todays recommendation algorithms instead exhibit a popularity bias, meaning that they often focus on rather popular items in their recommendations. Such a bias may not only lead to the limited value of the recommendations for consumers and providers in the short run, but it may also cause undesired reinforcement effects over time. In this paper, we discuss the potential reasons for popularity bias and review existing approaches to detect, quantify and mitigate popularity bias in recommender systems. Our survey, therefore, includes both an overview of the computational metrics used in the literature as well as a review of the main technical approaches to reduce the bias. Furthermore, we critically discuss todays literature, where we observe that the research is almost entirely based on computational experiments and on certain assumptions regarding the practical effects of including long-tail items in the recommendations.

研究の動機と目的

• 推薦システムにおける人気バイアスの根本的要因と現れ方を分析すること、特にすでに人気のあるアイテムの強化を目的とする。
• 人気バイアスを検出・定量化するために使用される既存の計算的指標および評価プロトコルをレビューすること。
• 文献で提案された技術的アプローチを検討し、推薦における多様性と公平性を促進する人気バイアスの緩和を目的とする。
• 現在の研究実践を批判的に評価し、オフライン実験への過剰依存と実世界の検証不足に焦点を当てる。
• 研究ギャップを特定し、特にアプリケーション固有の評価、人間中心の実験、および縦断的フィールドスタディの必要性を明らかにし、実用的関連性を高めること。

提案手法

• 人気バイアスに関する査読付き論文を対象とした体系的文献レビューを行い、定義、評価指標、緩和技術に焦点を当てる。
• 計算的指標（例：人気度スケール、多様性、公平性指標（Gini係数、Herfindahl-Hirschman指数など））に分類して評価指標を整理する。
• 再順序付け、損失関数の変更、データ拡張などの技術的緩和戦略を分析し、人気アイテムへの過剰依存を低減する。
• 既存の実験設定の評価を行い、オフラインベンチマークの優位性と、研究間での標準化されたプロトコルの欠如に注目する。
• シミュレーションおよび縦断的モデリングを用いて、推薦ループ内での人気バイアスの長期的強化効果を分析する。
• 研究手法の多様化を提言し、人間を含むループ実験および実世界のフィールドスタディを推進することで、実ユーザーへの影響を評価する。

Figure 1 : Biases and the Feedback Loop of Recommendation, inspired by [ 36 ] .

実験結果

リサーチクエスチョン

• RQ1 推薦システムにおける人気バイアスの主な発生源と定義は何か。また、研究間でどのように異なるか。
• RQ2 人気バイアスを検出・定量化するために最も一般的に使用される計算的指標は何か。また、文献全体を通して一貫性は保たれているか。
• RQ3 既存の技術的アプローチは、人気バイアスの緩和においてどの程度効果的か。また、実世界での導入における制限要因は何か。
• RQ4 現在の評価手法はどの程度オフライン実験に依存しているか。これにより研究の妥当性と実用的関連性にどのような影響を与えるか。
• RQ5 ユーザー、コンテンツ提供者、プラットフォームエコシステムに及ぼす人気バイアスの実世界的影響をよりよく理解するためには、どのような方法論的改善が必要か。

主な発見

• 人気バイアスは推薦システムで広く観察されており、アルゴリズムが人気のあるアイテムを過剰に推薦することで、多様性の低下と「裕福なものはさらに裕福になる」効果の強化が生じる。
• 文献の増加にもかかわらず、大多数の研究は標準化されたデータセットを用いたオフライン実験に依存しており、実世界の検証やユーザーの認識に関する研究は限定的である。
• Gini係数、Herfindahl-Hirschman指数、人気度スケールなど、多様な評価指標が使用されているが、閾値や標準プロトコルについての合意は存在しない。
• 再現性の欠如と、研究間での一貫性のないデータ分割手法が、異なる手法間の比較や研究の進展を妨げている。
• 現在の指標が実世界の価値や公平性の懸念を十分に反映していないことから、ステークホルダーの影響を考慮したアプリケーション固有の評価フレームワークの構築が強く求められる。
• 今後の研究は、計算的効果に加え、実用的影響力を持つことも保証するため、人間を含むループ実験やフィールドスタディを含む包括的アプローチにシフトする必要がある。

Figure 2 : Literature collection methodology.