[論文レビュー] Addressing the Multistakeholder Impact of Popularity Bias in Recommendation Through Calibration

Himan Abdollahpouri, Masoud Mansoury+2 more|arXiv (Cornell University)|Jul 23, 2020

Recommender Systems and Techniques参考文献 35被引用数 10

ひとこと要約

本稿では、おすすめアイテムの人気度をユーザーの個別好みプロファイルに合わせて調整する『人気度キャリブレーション』という手法を提案し、推薦システムにおける人気度バイアスを軽減することを目的としている。ユーザーの好みプロファイルの人気度分布と推薦結果の一致度を測るキャリブレーション指標を最適化することで、CPアルゴリズムは長尾アイテムの露出を向上させ、間接的にサプライヤー公平性を高め、最先端手法を上回る性能を示した。マルチステークホルダー評価においても優れた結果を示した。

ABSTRACT

Popularity bias is a well-known phenomenon in recommender systems: popular items are recommended even more frequently than their popularity would warrant, amplifying long-tail effects already present in many recommendation domains. Prior research has examined various approaches for mitigating popularity bias and enhancing the recommendation of long-tail items overall. The effectiveness of these approaches, however, has not been assessed in multistakeholder environments where in addition to the users who receive the recommendations, the utility of the suppliers of the recommended items should also be considered. In this paper, we propose the concept of popularity calibration which measures the match between the popularity distribution of items in a user's profile and that of the recommended items. We also develop an algorithm that optimizes this metric. In addition, we demonstrate that existing evaluation metrics for popularity bias do not reflect the performance of the algorithms when it is measured from the perspective of different stakeholders. Using music and movie datasets, we empirically show that our approach outperforms the existing state-of-the-art approaches in addressing popularity bias by calibrating the recommendations to users' preferences. We also show that our proposed algorithm has a secondary effect of improving supplier fairness.

研究の動機と目的

• 人気度バイアスのマルチステークホルダーへの影響を是正すること。これは、ユーザーにとどまらず、アイテムサプライヤーにも影響を及ぼす。
• 既存の人気度バイアス評価指標の限界を特定すること。これらはステークホルダー固有のパフォーマンスを反映していない。
• ユーザーの実際の好み分布にあわせた推薦の人気度を調整するキャリブレーションに基づくアプローチを開発すること。
• ユーザー層の人気度キャリブレーションを向上させることで、明示的な最適化なしにサプライヤー公平性が間接的に向上することを示すこと。
• 精度、カバレッジ、公平性を含むマルチステークホルダー指標を用いて、MovieLens や last.fm といった多様なデータセット上で提案手法を評価すること。

提案手法

• ユーザーのレーティングプロファイルにおける人気度分布と推薦アイテムの人気度の一致度を測る指標として、『人気度キャリブレーション』の概念を導入する。
• 精度とキャリブレーションのバランスを最適化する重み付き目的関数を用いて、人気度キャリブレーション指標を最適化するCP（キャリブレーションに基づく再順序付け）アルゴリズムを提案する。
• ハイパーパrameter λ を用いて、推薦の正確性（精度）と人気度キャリブレーションのトレードオフを制御する。
• ベースアルゴリズム（例：Item-CF）の出力を変更することで、ユーザー固有の人気度好みに整合するように再順序付けを行う戦略を採用する。
• 実世界の2つのデータセット（MovieLens 1M および last.fm）に本手法を適用し、複数のステークホルダー視点からパフォーマンスを評価する。
• 2つの定義を用いてサプライヤー公平性を測定する：サプライヤー間での露出格差、および推薦とサプライヤーの人気度の一致度。

実験結果

リサーチクエスチョン

• RQ1 人気度バイアスは、全体のシステム精度を越えて、ユーザー、サプライヤー、アイテムグループといった異なるステークホルダーにどのように影響を与えるか？
• RQ2 標準的な評価指標は、人気度バイアスのマルチステークホルダー的影響をどの程度反映していないか？
• RQ3 キャリブレーションに基づく再順序付けアプローチは、精度を損なわせることなく、ユーザー層の人気度整合性とサプライヤー公平性の両方を向上させることができるか？
• RQ4 提案されたCPアルゴリズムはハイパーパrameter λ に対してどの程度感度が高く、精度、カバレッジ、キャリブレーションの間でどのようなトレードオフが生じるか？
• RQ5 ユーザー層の人気度キャリブレーションの向上が、間接的にサプライヤー公平性の向上をもたらすのか。その場合、どのような条件下で成立するか？

主な発見

• CPアルゴリズムは、精度にほとんど影響を与えない（≈0.001の損失）一方で、カバレッジ、多様性、人気度キャリブレーションが顕著に向上し、特に λ=0.2 の場合に顕著であった。
• last.fm データセットでは、CPアルゴリズムはすべての λ 値において精度を維持またはわずかに向上させ、キャリブレーションおよび公平性指標で顕著な向上を示した。
• 提案手法は、マルチステークホルダー評価において最先端手法を上回り、特にショートヘッドアイテムの過剰代表を低減する点で優れた結果を示した。
• 人気度キャリブレーションは、顕著な二次的効果をもたらす。サプライヤー間での露出格差が減少したことで、サプライヤー公平性の向上が裏付けられた。
• アイテムの人気度とサプライヤーの人気度の間には正の相関関係が存在し、良好なキャリブレーションがサプライヤー公平性の向上を間接的に促進する。
• 標準指標（例：精度）だけでは、ユーザー、アイテム、サプライヤーの各グループにおける人気度バイアスの真の影響を捉えることはできないことが結果から明らかになった。