[論文レビュー] New Fairness Metrics for Recommendation that Embrace Differences

Sirui Yao, Bert Huang|arXiv (Cornell University)|Jun 29, 2017

Ethics and Social Impacts of AI参考文献 14被引用数 20

ひとこと要約

本稿では、性別などの感受性属性に影響を受けるユーザーの好みが原因で生じる偏りに基づく不公平性を是正する4つの新しい公平性指標を提案する。これらの指標を行列分解における正則化項として統合することで、推薦精度を著しく低下させることなく、不足表現や観測バイアスといったさまざまな形態の不公平性を効果的に低減できる。実験では合成データおよび実世界のMovielensデータで有効性が検証された。

ABSTRACT

We study fairness in collaborative-filtering recommender systems, which are sensitive to discrimination that exists in historical data. Biased data can lead collaborative filtering methods to make unfair predictions against minority groups of users. We identify the insufficiency of existing fairness metrics and propose four new metrics that address different forms of unfairness. These fairness metrics can be optimized by adding fairness terms to the learning objective. Experiments on synthetic and real data show that our new metrics can better measure fairness than the baseline, and that the fairness objectives effectively help reduce unfairness.

研究の動機と目的

• ユーザーの好みが感受性属性（例：性別）に影響を受ける状況下で、デモグラフィックパラリティなどの従来の公平性指標が協調フィルタリングにおいてなぜ不十分であるかを特定すること。
• 不足表現、観測バイアス、予測分布における非対称性といった、異なる形態の不公平性を捉える新しい公平性指標を提案すること。
• これらの公平性指標を正則化項として行列分解の最適化目的関数に統合するための最適化目的関数を構築し、より公平な推薦を実現すること。
• これらの新しい指標を最小化することで、多様なデータ設定において不公平性が低減されるとともに再構成誤差が低く抑えられることを実証的に検証すること。

提案手法

• 不足表現、観測バイアス、予測分布における非対称性、絶対的不公平性という4つの新しい公平性指標を提案。各指標は、ユーザーグループの予測における異なる形態の不公平性を測定する。
• 標準的な目的関数に公平性正則化項を追加することで行列分解を拡張。再構成誤差を最小化するとともに、不公平性をペナルティとして課す。
• 等しい機会や残差パラリティにインspiredされた条件付き予測確率に基づく公平性目的関数を定義。保護群間での公平な扱いを保証する。
• Adam最適化アルゴリズムを用いて、500イテレーションにわたり、公平性目的関数を組み合わせたモデルを学習。合成データおよび実世界のMovielensデータで評価。
• 合成実験では、現実のデータバイアスを模倣するための2段階サンプリングプロセスを適用。特に、偏ったユーザープーリングと観測レートを含む。
• レーティング確率と観測確率を別々にモデル化する確率的フレームワークを採用。今後の研究では、データの不均衡をより体系的に扱うことを目指す。

実験結果

リサーチクエスチョン

• RQ1 ユーザーの好みが性別などの感受性属性に自然に影響を受ける状況下で、デモグラフィックパラリティのような従来の公平性指標は、協調フィルタリングにおいてなぜ失敗するのか？
• RQ2 レーティングが真の好みを反映しているとしても、不足表現や観測歪みといったデータバイアスが原因で、推薦システムにどのような異なる形態の不公平性が生じるのか？
• RQ3 これらの微妙な不公平性の形態を捉える新しい公平性指標を設計し、行列分解フレームワーク内で効果的に最適化できるか？
• RQ4 これらの新しい公平性指標を最適化することで、再構成誤差を著しく増加させることなく、不公平性をどの程度低減できるか？
• RQ5 実際の応用において、異なる公平性目的関数はどのように比較されるのか？特定のアプリケーションにおける公平性懸念に応じて、どの目的関数を優先すべきか？

主な発見

• 提案された公平性指標（不足表現、観測バイアス、非対称性、絶対的不公平性）は、デモグラフィックパラリティが検出できない異なる形態の不公平性を効果的に捉えている。
• 任意の1つの公平性指標を最適化することで、その指標の値が顕著に低減され、特に「Over+Under」の組み合わせ目的関数では、パラリティを除き、すべての指標でほぼ最小値に近づいた。
• 公平性目的関数を最適化しても再構成誤差はわずかに増加するにとどまり、公平性を向上させながらも推薦精度を損なわないことを示している。
• 合成実験では、最も不均衡な設定（例：偏ったユーザープーリングと観測レート）が、最高の不公平性を生じさせ、データバイアスの影響を確認した。
• Movielensデータセットでは、すべての公平性最適化モデルが、ターゲット指標の不公平性を低減させるとともに、再構成誤差に顕著な低下がなく、実世界データへの一般化を裏付けた。
• 結果から、どの指標にも一貫して優れた性能を示す公平性目的関数は存在せず、実務においては応用の文脈に応じた公平性懸念に応じて目的関数を選択する必要があることが示された。