[論文レビュー] Quantifying the Impact of User Attention on Fair Group Representation in Ranked Lists

Piotr Sapieżyński, Wesley Zeng+3 more|arXiv (Cornell University)|Jan 29, 2019

Electoral Systems and Political Participation被引用数 8

ひとこと要約

この論文は、固定された割引関数（例：対数的または幾何的）を仮定するのではなく、パラメータ化された分布を用いてユーザーの注目度をモデル化することで、順序付きリストにおけるグループ公平性を監査するための新しい指標であるViable-Λ Testを紹介する。同じ順序付きリストが、注目度モデルに応じて公平に見えたり偏りがあるように見えたりすることを示しており、アルゴリズム的バイアスに関する誤解を招く結論を避けるために、公平性の評価はユーザー行動とサービスの文脈を考慮する必要があることを強調している。

ABSTRACT

In this work, we introduce a novel metric for auditing group fairness in ranked lists. Our approach offers two benefits compared to the state of the art. First, we offer a blueprint for modeling of user attention. Rather than assuming a logarithmic loss in importance as a function of the rank, we can account for varying user behaviors through parametrization. For example, we expect a user to see more items during a viewing of a social media feed than when they inspect the results list of a single web search query. Second, we allow non-binary protected attributes to enable investigating inherently continuous attributes (\\eg political alignment on the liberal to conservative spectrum) as well as to facilitate measurements across aggregated sets of search results, rather than separately for each result list. By combining these two elements into our metric, we are able to better address the human factors inherent in this problem. We measure the whole sociotechnical system, consisting of a ranking algorithm and individuals using it, instead of exclusively focusing on the ranking algorithm. Finally, we use our metric to perform three simulated fairness audits. We show that determining fairness of a ranked output necessitates knowledge (or a model) of the end-users of the particular service. Depending on their attention distribution function, a fixed ranking of results can appear biased both in favor and against a protected group.

研究の動機と目的

• 固定された割引関数よりも現実的であるユーザーの注目度をモデル化することで、公平な順序付けに関する研究のギャップを埋める。
• 異なるサービス（例：ソーシャルメディア対検索エンジン）におけるユーザー行動の違いを考慮した、順序付きリストの公平性監査を可能にする。
• 政治的傾向など、二値ではないまたは連続的な保護属性（例：政治的傾向）を公平性評価に統合できるようにする。
• 公平性評価の焦点を、順序付けアルゴリズムそのものから、順序付け＋ユーザー行動という社会的技術的システムに移行する。
• 公平性の結論が仮定された注目度分布に極めて敏感であることを示し、文脈に配慮した監査が不可欠であることを明らかにする。

提案手法

• パラメータ化された注目度モデル（例：切り捨てられた幾何分布）を用いて、異なるユーザー行動を表現する。パラメータλ₁,…,λₘが注目度の減衰を制御する。
• 観察されたトップ-k結果から導かれる推定統計量p̂を用いて、全結果セットにおける保護群メンバーの真の割合を推定する。
• 実世界の検索結果（例：'obamacare continue'、'medicare reform'）を用いたシミュレーテッド監査に、この指標を適用する。
• SEM（Sociotechnical Evaluation of Model Fairness）フレームワークを用いて、異なる注目度仮定下での公平性を定量化する。
• 特定の固定モデルを仮定する代わりに、いかなる現実的な注目度モデルに対しても公平性を達成できるかどうかを評価する。

実験結果

リサーチクエスチョン

• RQ1 どのような現実的なユーザーの注目度分布に対しても、順序付きリストがグループ公平性を満たすと見なせるのか、それとも公平性が仮定された注目度モデルに強く依存するのか。
• RQ2 注目度分布の形状（例：急峻対平坦）が、既知の結果を持つ順序付きリストの公平性の認識にどのように影響するか。
• RQ3 政治的傾向など、連続的または非二値の属性を、順序付きリストの公平性指標に意味的に統合できる範囲はどの程度か。
• RQ4 注目度モデルの選択が、実世界の検索結果におけるバイアスの検出可能性にどのように影響するか。
• RQ5 特定のサービス文脈における実際のユーザー行動を反映しない注目度モデルを仮定した場合、公平性の結論が誤解を招くおそれがあるか。

主な発見

• 同じ順序付きリストが、仮定された注目度分布に応じて保護群に有利に見えたり不利に見えたりするため、公平性は絶対的ではなく文脈依存であることが示された。
• 'obamacare continue'の検索では、急峻な注目度（トップ結果に注目が集まる）ではリーダーシップがリベラル寄りに見えるが、より平坦な注目度分布ではよりバランスの取れた結果に見える。
• 'medicare reform'では、保守的傾向の強いトップ結果があるため、急峻な注目度ではリスト全体が保守寄りに見えるが、大多数の結果がリベラル寄りであるにもかかわらずである。
• Viable-Λ Testは、いかなる現実的な注目度モデルに対しても公平性を達成できるかどうかを的確に特定でき、一部の順序付けは注目度の形状に関係なく本質的に不公平であることを明らかにした。
• 固定された注目度モデル（例：対数的または幾何的）を仮定すると、ユーザー行動がインターフェースやタスクによって異なる場合に、誤った公平性評価に至る可能性があることが示された。
• この指標は、公平性監査がサービス固有のユーザー行動を考慮しなければならないことを明らかにした。同じ順序付きリストが、使用される注目度モデルによって公平に見えたり不公平に見えたりするからである。