[論文レビュー] Exploring Artist Gender Bias in Music Recommendation

Dougal Shakespeare, Lorenzo Porcaro+2 more|arXiv (Cornell University)|Sep 3, 2020

Recommender Systems and Techniques参考文献 39被引用数 24

ひとこと要約

本研究は、2つのLast.fmデータセット、LFM-1bおよびLFM-360kを用いた協調フィルタリング（CF）を用いて、音楽推薦システムにおける性別バイアスを調査している。CFアルゴリズムは、ユーザーの好みに既存の性別バイアスを拡大しており、モデルベースのNMFはメモリベースのUserKNNAvgに比べてバイアス差が小さいことが判明した。これは、アルゴリズム設計が推薦における性別表現に顕著な影響を及えることを示している。

ABSTRACT

Music Recommender Systems (mRS) are designed to give personalised and meaningful recommendations of items (i.e. songs, playlists or artists) to a user base, thereby reflecting and further complementing individual users' specific music preferences. Whilst accuracy metrics have been widely applied to evaluate recommendations in mRS literature, evaluating a user's item utility from other impact-oriented perspectives, including their potential for discrimination, is still a novel evaluation practice in the music domain. In this work, we center our attention on a specific phenomenon for which we want to estimate if mRS may exacerbate its impact: gender bias. Our work presents an exploratory study, analyzing the extent to which commonly deployed state of the art Collaborative Filtering(CF) algorithms may act to further increase or decrease artist gender bias. To assess group biases introduced by CF, we deploy a recently proposed metric of bias disparity on two listening event datasets: the LFM-1b dataset, and the earlier constructed Celma's dataset. Our work traces the causes of disparity to variations in input gender distributions and user-item preferences, highlighting the effect such configurations can have on user's gender bias after recommendation generation.

研究の動機と目的

• 音楽推薦システム（mRS）における協調フィルタリング（CF）アルゴリズムが、ユーザーの好みに既存の性別バイアスを拡大するかどうかを調査すること。
• 大規模なLast.fmのリスニングイベントデータセット2つ（LFM-1bおよびLFM-360k）を用いて、mRSにおけるバイアス差を評価すること。
• メモリベース（UserKNNAvg）とモデルベース（NMF）の異なるCFアルゴリズムが、性別バイアスの拡散に与える影響を比較すること。
• 極端なユーザーの好み（例：女性アーティストへの強い好み）が、推薦におけるバイアス拡大を促進するかどうかを調査すること。
• アルゴリズムバイアスが音楽推薦に与える社会的・技術的影響、特に女性アーティストの低 representation との関連を強調すること。

提案手法

• 最近提案されたバイアス差指標を適用し、CFアルゴリズムが推薦において性別バイアスをどれほど拡大または低減するかを定量化した。
• 公開済みの2つのLast.fmデータセット（LFM-1b：10億の相互作用、LFM-360k：360,000人のユーザー）を用い、ユーザーの好みの分布が異なる状況でのバイアスを評価した。
• アーティストおよびユーザーを二値の性別カテゴリ（男性／女性）に分類し、推薦結果における性別バイアスを測定した。
• 2つの実験を実施：1つはバランスの取れたユーザーの好み、もう1つは女性アーティストに偏った極端な好みを想定し、バイアス拡大をテストした。
• 同一の条件下で、メモリベース（UserKNNAvg）およびモデルベース（NMF）の協調フィルタリングアルゴリズムを評価した。
• バイアス差を、入力のユーザー好みと出力の推薦におけるバイアスの差として測定し、アルゴリズムの公平性を評価した。

実験結果

リサーチクエスチョン

• RQ1 音楽推薦システムにおける協調フィルタリングアルゴリズムは、ユーザーの好みに既存の性別バイアスをどれほど拡大するか？
• RQ2 メモリベース対モデルベースのCFアルゴリズムの選択が、推薦における性別バイアスの伝搬にどのように影響するか？
• RQ3 女性アーティストへの極端なユーザーの好みが、推薦におけるバイアス差を増大させるか？もしそうなら、その影響はアルゴリズムごとにどのように分布するか？
• RQ4 LFM-1bとLFM-360kデータセットは、バイアス差の結果においてどのように異なるか？これはデータスケールと分布に関する何を示唆するか？
• RQ5 バイアス拡大を低減するように推薦システムを設計できるか？また、性別差を最小限に抑える観点で、どのアルゴリズム的アプローチが最も有望か？

主な発見

• 協調フィルタリングアルゴリズムは、音楽推薦において既存の性別バイアスを拡大しており、LFM-1bおよびLFM-360kの両データセットでバイアス差が顕著に増加した。
• 実験1（バランスの取れた好み）では、NMFが最も低い絶対値のバイアス差増加を示したが、UserKNNAvgは特にLFM-1bでバイアスを最も拡大した。
• 実験2（女性アーティストへの極端な好み）では、女性アーティストのバイアス差が正になり、男性アーティストでは負になった。これは、バイアス伝搬が一方向ではないことを示している。
• NMFはUserKNNAvgに比べて高いカバレッジと推薦の分散を達成しており、推薦における性別による集中の低減と多様性の向上を示している。
• LFM-1bデータセットはLFM-360kに比べてより顕著なバイアス差の拡大を示しており、これはスケールの大きなデータがより強いバイアス伝搬効果を示す可能性を示唆している。
• 推薦プロセスから新たなバイアスが生じた証拠は得られなかった。むしろ、アルゴリズムは主に入力データに既存のバイアスを拡大しているにすぎなかった。