[論文レビュー] On Discrimination Discovery and Removal in Ranked Data using Causal Graph

Yongkai Wu, Lu Zhang+1 more|arXiv (Cornell University)|Mar 5, 2018

Ethics and Social Impacts of AI参考文献 29被引用数 4

ひとこと要約

本稿は、順位付けられたデータにおける直接的および間接的差別の検出と除去を可能にする因果グラフベースのフレームワークを提案する。順位位置を連続的資格スコアにマッピングすることで実現される。本研究では、混合変数因果グラフにパス固有効果分析を拡張し、順位システムにおける正確な差別測定を可能にした。これは、因果的バイアスを捉えられない統計的同等性手法に比べて優れている。

ABSTRACT

Predictive models learned from historical data are widely used to help companies and organizations make decisions. However, they may digitally unfairly treat unwanted groups, raising concerns about fairness and discrimination. In this paper, we study the fairness-aware ranking problem which aims to discover discrimination in ranked datasets and reconstruct the fair ranking. Existing methods in fairness-aware ranking are mainly based on statistical parity that cannot measure the true discriminatory effect since discrimination is causal. On the other hand, existing methods in causal-based anti-discrimination learning focus on classification problems and cannot be directly applied to handle the ranked data. To address these limitations, we propose to map the rank position to a continuous score variable that represents the qualification of the candidates. Then, we build a causal graph that consists of both the discrete profile attributes and the continuous score. The path-specific effect technique is extended to the mixed-variable causal graph to identify both direct and indirect discrimination. The relationship between the path-specific effects for the ranked data and those for the binary decision is theoretically analyzed. Finally, algorithms for discovering and removing discrimination from a ranked dataset are developed. Experiments using the real dataset show the effectiveness of our approaches.

研究の動機と目的

• 統計的同等性の限界を是正すること。特に、公平性を考慮した順位付けにおいて因果的差別を捉えられない点に焦点を当てる。
• 既存の分類用因果手法が、順位付けの相関的・置換に基づく性質ゆえに、順位データに直接適用できないことを見抜く。
• 順位位置を連続的スコアとしてモデル化することで、順位データセットにおける因果推論を可能にする手法を開発すること。
• カテゴリカル属性（例：人種、郵便番号）と連続的スコア変数を含む混合変数因果グラフに対して、パス固有効果分析を拡張し、差別検出を可能にすること。
• 直接的および間接的差別を除去することで、公平な順位付けを発見・再構築するためのアルゴリズムを提案すること。

提案手法

• Bradley-Terryモデルを用いて順位位置を連続的スコアにマッピングし、離散的置換を連続的資格空間に変換する。
• カテゴリカルなプロファイル属性（例：人種、郵便番号）と連続的スコア変数を組み合わせた混合変数因果グラフを構築する。
• 連続的および離散的変数を扱えるようにパス固有効果技術を拡張し、因果的効果の分解を可能にする。
• 因果グラフ内の特定の因果経路に沿ったパス固有効果を定義・計算することで、直接的および間接的差別を定量化する。
• 理論的分析により、順位データにおけるパス固有効果と二値分類設定におけるパス固有効果との関係を確立する。
• パス固有効果の定量的評価により差別を検出するアルゴリズムと、差別的経路を排除するようにスコアを調整することで公平な順位付けを再構築するアルゴリズムを開発する。

実験結果

リサーチクエスチョン

• RQ1 因果推論を用いて、順位データにおける直接的および間接的差別を形式的に定義・測定する方法は何か？
• RQ2 統計的同等性に基づく公平性指標は、順位システムにおける因果的差別をどの程度検出できないのか？
• RQ3 連続的スコアと離散的属性を含む混合変数モデルに、因果グラフからのパス固有効果をどのように適応できるか？
• RQ4 順位データにおけるパス固有効果と二値分類問題におけるパス固有効果との理論的関係は何か？
• RQ5 直接的および間接的差別を排除するようにスコアを調整することで、正当な順位付けの順序を保ちつつ公平な順位付けを再構築できるか？

主な発見

• 提案手法は、統計的同等性に基づく手法が見逃す可能性のある直接的および間接的差別を、順位データにおいても効果的に検出できた。
• ドイツ信用データセットを用いた実験では、統計的同等性が誤った公平性評価を生じる可能性があることが判明した。例えば、グループの割合がバランスしている場合でも、明確なバイアスが隠蔽されることがある。
• 因果グラフアプローチは、保護対象グループに2ポイントのボーナスを与えるランカーが、統計的同等性が満たされても間接的差別を示していることを正しく特定した。
• パス固有効果分析により、順位における差別が、保護対象属性 → スコア（直接経路）および保護対象属性 → 他の属性 → スコア（間接経路）の両方の経路を通じて生じることが明らかになった。
• 公平な順位付け再構築のためのアルゴリズムは、候補者の正当な順位付けの順序を維持しつつ、差別の影響を効果的に除去した。
• 理論的分析により、順位データにおけるパス固有効果が二値分類のケースを一般化しており、順位システムにおける原理的公平性評価を可能にすることが確認された。