[論文レビュー] Multi-sided Exposure Bias in Recommendation

Himan Abdollahpouri, Masoud Mansoury|arXiv (Cornell University)|Jun 29, 2020

Recommender Systems and Techniques参考文献 22被引用数 25

ひとこと要約

本稿は、レコメンデーションシステムにおけるマルチサイド露出バイアスを導入し、人気バイアスがユーザーとアイテム供給者にどのように不均等に影響を与えるかを分析する。ユーザー中心（UPD）および供給者中心（SPD）の指標を提案し、露出不均衡を定量化する。ユーザーの人気度キャリブレーションの向上が供給者公平性の向上にもつながることを示し、精度のみが公平な露出を保証するという仮定に疑問を呈する。

ABSTRACT

Academic research in recommender systems has been greatly focusing on the accuracy-related measures of recommendations. Even when non-accuracy measures such as popularity bias, diversity, and novelty are studied, it is often solely from the users' perspective. However, many real-world recommenders are often multi-stakeholder environments in which the needs and interests of several stakeholders should be addressed in the recommendation process. In this paper, we focus on the popularity bias problem which is a well-known property of many recommendation algorithms where few popular items are over-recommended while the majority of other items do not get proportional attention and address its impact on different stakeholders. Using several recommendation algorithms and two publicly available datasets in music and movie domains, we empirically show the inherent popularity bias of the algorithms and how this bias impacts different stakeholders such as users and suppliers of the items. We also propose metrics to measure the exposure bias of recommendation algorithms from the perspective of different stakeholders.

研究の動機と目的

• 推薦アルゴリズムにおける人気バイアスが、マルチステークホルダー型プラットフォームにおけるユーザーおよび供給者に与える露出分布への影響を調査すること。
• ステークホルダー固有の露出不均衡を無視する既存の精度中心の評価指標の限界を特定すること。
• ユーザーおよび供給者両方の視点から露出バイアスを定量化する新しい指標（UPDおよびSPD）を提案すること。
• ユーザー側の人気度偏差（UPD）を低減することで、供給者側の露出不均衡（SPD）も同時に低減することを実証的に示し、ユーザーと供給者の公平性の整合性を示すこと。
• ユーザー中心の精度指標にとどまらない、マルチステークホルダー評価フレームワークの導入を提唱すること。

提案手法

• 本稿では、音楽（Last.fm）および映画（MovieLens 1M）の2つの公開データセットを用い、アーティスト／アルバムマッピングやIMDBのディレクター情報から供給者情報を抽出する。
• 主に精度を最適化指標として用い、3つのパーソナライズドアルゴリズム（Biased-MF、User-CF、Item-CF）と1つの非パーソナライズドベースライン（Most-popular）を評価する。
• ユーザー側露出不均衡を測る指標として、ユーザーのレーティングにおけるアイテム人気度分布と推薦におけるアイテム人気度分布の間のKullback-Leibler（KL）ダイバージェンスを、ユーザー人気度偏差（UPD）として定義する。
• 同様に、供給者側の露出公平性を測る指標として、ユーザーのレーティングにおける供給者人気度分布と推薦における供給者人気度分布のKLダイバージェンスを、供給者人気度偏差（SPD）として定義する。
• UPDおよびSPDは各ユーザーごとに計算され、テストセット全体にわたって集約され、さまざまな人気度グループにおける露出公平性全体の評価がなされる。
• 統計的分析と可視化を用いて、UPD、SPD、精度、カタログカバレッジの間の相関関係を、さまざまなアルゴリズムおよびデータセットに対して分析する。

実験結果

リサーチクエスチョン

• RQ1 推薦アルゴリズムにおける人気バイアスが、嗜好の異なるユーザーにおける露出分布にどのように影響を与えるか？
• RQ2 既存の推薦アルゴリズムが、ユーザーの視点から見ると、人気のあるアイテムを著しく優遇し、それらの少ない人気のアイテムを無視する傾向にあるのはどの程度か？
• RQ3 アーティストやディレクターなどの異なる供給者からのアイテムの露出が、ユーザーのレーティングにおける実際の人気度からどの程度逸脱しているか？
• RQ4 ユーザー側の人気度偏差（UPD）を低減することで、供給者側の露出公平性（SPD）も向上するのか？
• RQ5 推薦精度（精度）と露出公平性（UPD/SPD）の間にトレードオフがあるのか。もしあるならば、どのようにバランスを取るべきか？

主な発見

• ユーザー人気度偏差（UPD）を低減すると、一貫して供給者人気度偏差（SPD）も低減する。これは、ユーザーの公平性向上が供給者の公平性向上にもつながることを示している。
• Biased-MFは、Most-popularベースラインと同等の精度を達成しているにもかかわらず、はるかに優れたUPDを達成しており、パーソナライズドがユーザー側の露出バイアスを低減することを示している。
• Most-popularアルゴリズムは、精度が同等であってもUPDとSPDの両方が高く、人気アイテムおよび人気供給者の著しい過剰代表を示しており、顕著な露出バイアスを示している。
• カタログカバレッジとSPDには相関がない。高いアイテムカバレッジを示すアルゴリズムであっても、人気の低い供給者の露出不均衡は依然として顕著である。
• 精度と公平性指標の間に直接的な相関はない。高い精度が、優れた露出キャリブレーションを意味するとは限らず、逆に低い精度であっても公平性が高い場合がある。
• ランダム推薦はSPDを改善するが、精度を著しく低下させる。これは、実運用環境において精度と公平性の間のトレードオフが顕著であることを示している。