[論文レビュー] Synthetic Attribute Data for Evaluating Consumer-side Fairness

Robin Burke, Jackson Kontny+1 more|arXiv (Cornell University)|Sep 12, 2018

Ethics and Social Impacts of AI参考文献 5被引用数 5

ひとこと要約

本稿では、レコメンデーションシステムにおける消費者側の公平性を評価するための合成された人種的属性を生成するための周波数連携属性生成（FLAG）アルゴリズムを提案する。グループメンバーシップ確率をパワー則分布を用いてユーザーのプロフィール長に結びつけることで、FLAGは、ユーザーの匿名性を保ちつつ公平性メトリクスを制御可能な実験が可能となる。XINGおよびMovieLensデータセットを用いた実証により、実際のものと同等の妥当性を持つ人種的属性と行動の関連性が得られたことが示された。

ABSTRACT

When evaluating recommender systems for their fairness, it may be necessary to make use of demographic attributes, which are personally sensitive and usually excluded from publicly-available data sets. In addition, these attributes are fixed and therefore it is not possible to experiment with different distributions using the same data. In this paper, we describe the Frequency-Linked Attribute Generation (FLAG) algorithm, and show its applicability for assigning synthetic demographic attributes to recommendation data sets.

研究の動機と目的

• レコメンデーションデータセットに公開された人種的属性が不足しているという問題に対処すること。これは、消費者側の公平性評価に不可欠である。
• 公平性に配慮したレコメンデーション研究における、異なるグループサイズ比や行動プロファイルを制御可能な実験を可能にすること。
• 実際の人種的分布を模倣するが、ユーザーの再特定のリスクを回避する合成属性を生成すること。
• プロフィール長などのユーザー行動と相関する二値ラベル（A/B）を割り当てることで、保護群と非保護群を模擬する方法を提供すること。
• 行動的に妥当で、推論を伴わないラベル付けメカニズムを用いることで、プライバシー保護と外部妥当性の両立を図ること。

提案手法

• FLAGは、ユーザーのプロフィール長に基づいてグループメンバーシップ確率を割り当てる。パワー則分布（パラメータα）を用いて、偏りを制御する。
• グループBへのメンバーシップ確率は、f_B(i) = 1 / i^α で定義され、ここでiはユーザーのプロフィールサイズを表す。
• グループBの期待サイズを全ユーザー数に対して相対的に制御するためのスケーリングパラメータβを導入する。
• 最終的なメンバーシップ確率は、f_B(i) を一様にスケーリングして得られ、E(|B|) = β|U| を満たすように調整される。
• スケーリングされた分布を用いて確率的にラベルを割り当て、すべてのユーザーがいずれのグループにも属する非ゼロの確率を持つようにする。
• 実際の人種的属性データではなく、プロフィール長という行動的代理指標のみを用いるため、本物の人種的アイデンティティを推測するのを避ける。

実験結果

リサーチクエスチョン

• RQ1 ユーザーの匿名性を保ちつつ、レコメンデーションシステムにおける公平性評価を可能にする方法で、合成された人種的属性を生成することは可能か？
• RQ2 グループサイズ比と行動プロファイルを制御可能な合成データを用いて、多様な公平性シナリオを模擬するにはどうすればよいか？
• RQ3 合成された属性分布は、実際のユーザーデータにおける人種的属性と行動の関連性とどの程度相関しているか？
• RQ4 本物の人種的アイデンティティへのリンクを避けることで、FLAG手法は再特定リスクを防止できるか？
• RQ5 公平性評価において、合成属性が本物の人種的属性の代替としてどの程度有効であるか？

主な発見

• FLAGアルゴリズムは、ユーザーのプロフィール長に確率的に関連する合成された人種的属性を効果的に生成し、制御可能な公平性実験を可能にした。
• βパラメータを用いることでグループサイズ比を調整でき、保護群／非保護群の異なる割合を模擬可能である。
• 本物の人種的アイデンティティを推測または公開しないため、アルゴリズムはユーザーの匿名性を維持している。
• XINGデータセットにおける実証的評価では、プロフィールサイズがパワー則分布に従い、指数が1.45であることが確認され、モデルの仮定が妥当であることが裏付けられた。
• MovieLensデータセットにおいて、FLAGが生成したラベルは、プロフィール長と人種的属性に類似した行動と統計的に妥当な関連性を再現しており、一部の文脈では外部妥当性があることが示唆された。
• 本手法は、実際の人種的属性と相関する多様な行動的差異（例：ジャンルの好み）を捉えていないため、複雑なユーザー行動をモデル化する点で限界があることが明らかになった。