[論文レビュー] Recommender Systems Fairness Evaluation via Generalized Cross Entropy

Yashar Deldjoo, Vito Walter Anelli+3 more|arXiv (Cornell University)|Aug 19, 2019

Recommender Systems and Techniques参考文献 13被引用数 10

ひとこと要約

本稿では、均等性にとどまらない公平性を評価するための一般化交差エントロピー（GCE）に基づく確率的フレームワークを提案する。この手法は、分野固有の理想分布を用いて、公平性の柔軟なモデリングを可能にする。実際の分布と理想分布を比較することで、ユーザー／アイテムの過剰または不足表現を定量的に評価し、実世界のデータセット上でのユーザーおよびアイテムグループにおける公平性評価において、透明性と適応性に優れていることが示された。

ABSTRACT

Fairness in recommender systems has been considered with respect to sensitive attributes of users (e.g., gender, race) or items (e.g., revenue in a multistakeholder setting). Regardless, the concept has been commonly interpreted as some form of equality -- i.e., the degree to which the system is meeting the information needs of all its users in an equal sense. In this paper, we argue that fairness in recommender systems does not necessarily imply equality, but instead it should consider a distribution of resources based on merits and needs. We present a probabilistic framework based on generalized cross entropy to evaluate fairness of recommender systems under this perspective, where we show that the proposed framework is flexible and explanatory by allowing to incorporate domain knowledge (through an ideal fair distribution) that can help to understand which item or user aspects a recommendation algorithm is over- or under-representing. Results on two real-world datasets show the merits of the proposed evaluation framework both in terms of user and item fairness.

研究の動機と目的

• 既存の公平性指標がユーザーまたはアイテムグループ間で均等性を仮定しているという制限に対処すること。
• 分野固有の理想分布を用いて、利害やニーズに基づく公平性を定義できる、柔軟な確率的フレームワークを提案すること。
• 均等な代表割合だけでなく、関連性や重要性に一致するユーティリティ分布に基づく公平性の評価を実施すること。
• 特定のユーザーまたはアイテムグループの過剰・不足代表を同定する透明で説明可能な手法を提供すること。
• 本フレームワークが多様な推薦アルゴリズムにおいて、洗練された公平性行動を捉える有効性を実証すること。

提案手法

• フレームワークは、実際の推薦分布とユーザーが定義した理想公平分布との乖離を測定するために一般化交差エントロピー（GCE）を用いる。
• 理想公平分布は、アイテム収益、ユーザー活動、関連性に基づく望ましい代表割合など、分野知識から導出可能である。
• ユーザー公平性の観点では、ユーザーグループごとの推薦アイテム分布を理想分布と比較し、非均一な公平性基準を許容する。
• アイテム公平性の観点では、均等に推薦されるのではなく、価値や重要性に比例して推薦されているかを評価する。
• 理想分布を調整することで、順位付け、評価、精度を超える指標など、さまざまな公平性の視点をサポートする。
• 特定のアルゴリズムがどのユーザーまたはアイテム側面を過剰・不足代表しているかを同定することで、説明可能性を提供する。

実験結果

リサーチクエスチョン

• RQ1 レコメンデーションシステムにおける公平性は、性的・感受性グループにわたる均等性を越えて、どのように評価できるか？
• RQ2 確率的公平性評価フレームワークは、分野固有の理想分布をどの程度組み込むことで、価値やニーズに基づく公平性を反映できるか？
• RQ3 提案されたGCEベースのフレームワークは、MADなどの既存の公平性指標と比較して、洗練された公平性行動をどの程度的確に捉えられるか？
• RQ4 本フレームワークは、推薦結果における特定のユーザーまたはアイテムグループの過剰・不足代表を、どのような方法で説明できるか？
• RQ5 本フレームワークは、実世界のデータセットを用いて、ユーザーおよびアイテムの両方の視点から同時に公平性を効果的に測定できるか？

主な発見

• 提案されたGCEベースの公平性指標は、ジョブ推薦チャレンジの優勝提出物が、国籍や教育水準といった望ましい属性を反映した理想分布を持つ場合、より公平なシステムに近いことを明確に特定した。
• 理想分布が未代表グループを重視する場合、ランダム推薦は学習済みモデルを上回る公平性指標を示すことがあり、文脈に適した公平性定義の重要性を浮き彫りにした。
• 均等公平性仮定下ではBPRMFが最も公平なアルゴリズムであると特定されたが、活発なユーザーの推薦促進を目的とする場合、Random、ItemKNN、SVD++がより好ましい結果を示した。
• MADとは異なり、GCE指標はカスタマイズ可能な理想分布をサポートするため、MADが均等公平性解釈に限定されるのに対し、公平性のニュアンスをより的確に捉えることができた。
• 結果として、GCEフレームワークは、各アルゴリズムがどのユーザーまたはアイテム側面を過剰・不足代表しているかを説明することで、高い透明性を提供した。
• フレームワークは、順位付けや評価などのさまざまな指標において公平性を測定する柔軟性を示し、実世界の応用におけるマルチステークホルダーフェアネス評価を支援した。