[論文レビュー] Crank up the volume: preference bias amplification in collaborative recommendation

Kun Lin, Nasim Sonboli+2 more|arXiv (Cornell University)|Sep 13, 2019

Recommender Systems and Techniques参考文献 24被引用数 6

ひとこと要約

本稿は、協調フィルタリングアルゴリズムがレコメンデーションシステムにおける好みのバイアスをどのように拡大または抑制するかを調査し、メモリベースのアルゴリズム（例：UserKNN、ItemKNN）が特に支配的グループにおいて、既存の好みの格差を顕著に拡大するのに対し、行列分解モデル（例：BiasedMF、SVD++）はバイアスを抑制する傾向を示し、WRMFは強いキャリブレーションを示すことを明らかにした。研究では、アルゴリズム選択が公平性の結果に顕著に影響すること、特に極端な好みのユーザーにおいて顕著であることが示された。

ABSTRACT

Recommender systems are personalized: we expect the results given to a particular user to reflect that user's preferences. Some researchers have studied the notion of calibration, how well recommendations match users' stated preferences, and bias disparity the extent to which mis-calibration affects different user groups. In this paper, we examine bias disparity over a range of different algorithms and for different item categories and demonstrate significant differences between model-based and memory-based algorithms.

研究の動機と目的

• 入力データに存在するさまざまな協調フィルタリングアルゴリズムの好みバイアスの伝搬または歪み方を調査すること。
• 性別（例：男性対女性）など、ユーザー集団間のバイアス格差を分析し、レコメンデーションにおける公平性に与える影響を検討すること。
• 極端なユーザーの好みが、レコメンデーションアルゴリズムによるバイアスの拡大または緩和に与える影響を評価すること。
• 特に公平性が重要な応用において、アルゴリズムのパラメータチューニングがバイアス格差に与える影響を評価すること。
• モデルベース型とメモリベース型アルゴリズムのバイアス伝搬における差異行動に関する実証的証拠を提供すること。

提案手法

• 本研究では、ユーザー集団およびアイテムカテゴリごとに、入力と出力の好み比の差を比較するためのグループベースバイアス格差指標を用いる。
• 好み比とは、特定のアイテムカテゴリ（例：SF 対 コンパクト）に対するユーザー集団内でのレーティング比として定義される。
• バイアス格差は、入力と出力の好み比の絶対差として計算され、バイアスの拡大または抑制を測定する。
• 実験は、ユーザー集団の分布が不均衡（例：男性対女性）で、極端な好みのサブグループを含む映画レーティングデータセットを用いて実施される。
• 複数の協調フィルタリングアルゴリズムが評価対象となる：メモリベース（UserKNN、ItemKNN、BPR）およびモデルベース（WRMF、BiasedMF、SVD++、RankALS、MostPopular）。
• グループ間のバイアス格差の差の統計的有意性は、t検定からのp値を用いて評価される。

実験結果

リサーチクエスチョン

• RQ1 RQ1: 異なるレコメンデーションアルゴリズムは、入力データに存在する既存の好みバイアスを推薦リストの生成にどのように伝搬するか？
• RQ2 RQ2: ユーザー集団（例：男性対女性）ごとに、入力と出力の間のバイアス格差はどのように異なるか？
• RQ3 RQ3: 特定のアイテムカテゴリに関して、極端な好み（肯定的または否定的）の個々のユーザーに対して、バイアス格差の影響はどのように現れるか？
• RQ4 RQ4: アルゴリズムのパラメータチューニングは、特に公平性が重要な文脈において、バイアス格差のパターンを変化させるか？

主な発見

• UserKNN や ItemKNN などのメモリベースのアルゴリズムは、既存の好みバイアスを拡大し、好まれるジャンル（例：SF）の出力好み比を増加させ、好まれないジャンル（例：コメディ）の好み比を低下させる。
• BiasedMF や SVD++ などの行列分解モデルは、入力の好みバイアスを抑制し、支配的ジャンルの好み比を低下させ、好まれないジャンルの好み比を増加させる。
• WRMF は強いキャリブレーションを示し、特に SF／コメディ ジャンルペアにおいて、出力好み比が入力比に近い安定した状態を維持する。
• 極端な好み（例：SF映画しか見ない）を持つユーザーに対しては、UserKNN や BPR、WRMF は初期の好みを保持するが、BiasedMF や SVD++ は初期バイアスを拡大する。
• アクション／ロマンス ジャンルペアのバイアス格差において、UserKNN や ItemKNN は支配的グループの好みバイアスを拡大しており、p値が統計的有意性を示している。
• パラメータチューニングによる精度向上にもかかわらず、どのアルゴリズムのバイアス拡大・抑制の本質的傾向も変化せず、精度と公平性が常に一致するわけではないことが示された。