[論文レビュー] Causal Intersectionality and Fair Ranking

Ke Yang, Joshua R. Loftus+1 more|arXiv (Cornell University)|Jun 15, 2020

Game Theory and Voting Systems参考文献 43被引用数 17

ひとこと要約

本稿では、レースやジェンダーなどの重複する感受性属性にわたるバイアスを軽減するために、反事後スコアを用いた因果モデルフレームワークを提案する。個々の個人が異なる交差的グループに属していた場合のスコアがどうなるかを計算することで、より公平なトップ-k順位付けを実現し、実データおよび合成データセット上で実証された。

ABSTRACT

In this paper we propose a causal modeling approach to intersectional fairness, and a flexible, task-specific method for computing intersectionally fair rankings. Rankings are used in many contexts, ranging from Web search to college admissions, but causal inference for fair rankings has received limited attention. Additionally, the growing literature on causal fairness has directed little attention to intersectionality. By bringing these issues together in a formal causal framework we make the application of intersectionality in algorithmic fairness explicit, connected to important real world effects and domain knowledge, and transparent about technical limitations. We experimentally evaluate our approach on real and synthetic datasets, exploring its behavior under different structural assumptions.

研究の動機と目的

• 順位付けタスクにおける因果的フェアネス研究のギャップ、特に交差的バイアスの文脈において、それを埋める。
• 構造的因果モデル（SCM）と反事後推論を用いて、交差的フェアネスを形式化する。
• 複数の感受性属性とその交差を考慮した、タスクに特化した公平な順位付けを計算するための柔軟な手法を開発する。
• 異なる構造的仮定の下で、実データおよび合成データセットに対してこの手法を実証的に評価する。
• 交差的フェアネスを因果的フェアネスの文献と結びつけ、フェアネスを現実の因果関係およびドメイン知識に根ざしたものとする。

提案手法

• 感受性属性（例：性別、レース）、中間変数、および結果スコアを含む変数間の因果関係を、有向非巡回グラフ（DAG）を用いた構造的因果モデル（SCM）で表現する。
• 反事後スコアはdo-計算による干渉によって計算される：各個人について、彼らが別の交差的グループ（例：白人男性ではなく黒人女性）に属していた場合のスコアがどうなるかをモデルがシミュレートする。
• その後、これらの反事後スコアに基づいて順位付けが行われ、感受性属性の因果的影響を除去することで、交差的グループ間で公平な順位付けが達成される。
• 解決可能（resolving）および非解決可能（non-resolving）の中間変数を区別することで、意思決定に倫理的に妥当な中間変数を洗練された形でモデル化できる。
• スコアベース順位付けおよび学習して順位を付ける（LTR）タスクの両方をサポートし、LTRにはListNetを用い、反事後学習を実施した。
• フレームワークはコードとして実装されており、https://github.com/DataResponsibly/CIFRank で公開されている。

実験結果

リサーチクエスチョン

• RQ1 交差的フェアネスは、順位付けシステムにおける因果的枠組み内でどのように形式化できるか？
• RQ2 反事後推論は、レースやジェンダーのような重複する感受性属性にわたるトップ-k順位付けにおけるバイアスをどの程度低減できるか？
• RQ3 交差的バイアスの低減に、共変量や中間変数の存在といった異なる構造的仮定がどの程度影響を及えるか？
• RQ4 交差的グループ全体にわたるユーティリティ損失を最小限に抑えながら、この手法がどのようにしてデモグラフィックパラティション（人口的均等）を達成できるか？
• RQ5 解決可能か非解決可能な中間変数の選択が、フェアネスの結果にどのように影響するか？

主な発見

• 反事後順位付け手法は、CSRankingsデータセットにおける小規模で地理的に代表されていなかった部署の代表性を著しく向上させ、小規模な部署をトップ20に引き上げ、地理的バランスを改善した。
• 引越し会社およびCOMPASデータセットにおいて、この手法は交差的グループ（例：黒人女性、白人男性）間の選抜率のデモグラフィック差を低減した。特に、解決可能なcf-LTRバージョンが最もバランスの取れた結果を示した。
• 実験では、交差的グループ間でユーティリティ損失が不均衡であっても、妥当なフェアネスの向上が達成された。観察された不均衡は1%から5%の範囲にとどまった。
• ListNetを用いたLTRタスクにおいて、このアプローチは妥当なロバストネスを示した。学習済みランカーは反事後変換に対して感度が低く、テスト時におけるフェアネス保証の可能性を示唆した。
• この手法の性能は、特に複数の中介変数や観測されない共変量を含むモデルにおいて、逐次的無視可能性（sequential ignorability）の仮定に敏感であることが判明した。これは、モデルの妥当性の重要性を強調している。
• このフレームワークは、因果構造に基づいた透明性と解釈可能性を備えたフェアネス干渉を可能にし、包括的な意思決定プロセスを支援する。