[論文レビュー] Two Simple Ways to Learn Individual Fairness Metrics from Data

Debarghya Mukherjee, Mikhail Yurochkin+2 more|arXiv (Cornell University)|Jun 19, 2020

Ethics and Social Impacts of AI参考文献 50被引用数 25

ひとこと要約

本稿では、類似した入力のグループや類似／非類似入力のペアを用いて、個々の公平性の指標をデータ駆動で学習する2つの手法を提案する。これにより、機械学習モデルが類似した個人を公平に扱えるようになる。アプローチは埋め込みからのマハラノビス距離指標を学習し、性別および人種に偏りのあるタスクで公平性が向上し、統計的性能に関する理論的保証を備える。

ABSTRACT

Individual fairness is an intuitive definition of algorithmic fairness that addresses some of the drawbacks of group fairness. Despite its benefits, it depends on a task specific fair metric that encodes our intuition of what is fair and unfair for the ML task at hand, and the lack of a widely accepted fair metric for many ML tasks is the main barrier to broader adoption of individual fairness. In this paper, we present two simple ways to learn fair metrics from a variety of data types. We show empirically that fair training with the learned metrics leads to improved fairness on three machine learning tasks susceptible to gender and racial biases. We also provide theoretical guarantees on the statistical performance of both approaches.

研究の動機と目的

• 機械学習における広く受け入れられた公平性指標の欠如が、個々の公平性の導入を妨げているという問題に対処する。
• タスク固有の公平性指標を定義する実務的障壁を克服し、データからそれらを学習する。
• 類似した個人が類似した方法で扱われるという個々の公平性を、データ駆動の指標学習によって実現する。
• 提案された指標学習手法の統計的性能に関する理論的保証を提供する。
• 性別および人種に偏りのある実世界の機械学習タスクにおいて、公平性が向上することを示す。

提案手法

• 既知の埋め込み $ \varphi $ と学習可能な行列 $ \Sigma \in \mathbf{S}_+^d $ を用いて、マハラノビス距離指標 $ d_x(x_1,x_2) = \langle \varphi(x_1) - \varphi(x_2), \Sigma(\varphi(x_1) - \varphi(x_2)) \rangle $ を学習する。
• 最初の手法：類似したとみなすべき入力のグループを用い、グループ内分散を最小化することで $ \Sigma $ を学習する。
• 2番目の手法：類似・非類似のペアのラベルが与えられたデータを用い、コントラスト損失関数を最適化することで $ \Sigma $ を学習する。
• スペクトル理論および行列摂動バウンド（例：コーシー＝シュバルツの定理）を用いて、学習された指標の正確性に関する統計的保証を導出する。
• 学習された指標を用いて公平なモデルを訓練し、リプシッツ連続性を保証するとともに、下流タスクにおける公平性を向上させる。
• 理論的分析により、ノイズおよび有限データのもとで、学習された指標 $ \Sigma $ が真の公平性指標に収束することを示した。

実験結果

リサーチクエスチョン

• RQ1 手作業で作成したまたはドメイン固有の指標に依存せずに、データから個々の公平性指標を学習できるか？
• RQ2 学習された公平性指標は、入力データのノイズやラベル誤りに対してどれほど頑健か？
• RQ3 データ駆動の公平性指標は、性別および人種的格差が生じる実世界のタスクにおいて、機械学習モデルのバイアスを効果的に低減できるか？
• RQ4 学習された公平性指標の統計的性能について、どのような理論的保証を提供できるか？
• RQ5 学習された指標を用いて訓練したモデルは、下流タスクにおいて公平かつ正確であると言えるか？

主な発見

• 提案手法は、性別および人種に偏りのある既知の3つの機械学習タスクにおいて、公平性を顕著に向上させる公平性指標を学習した。
• 十分なグループレベルの類似性情報が利用可能な場合、グループベース手法がペアベース手法を上回る公平性向上を達成した。
• 理論的分析により、やや弱い仮定のもとで、学習された指標 $ \Sigma $ が真の公平性指標に収束し、推定誤差のバウンドが得られた。
• 手法はデータのノイズに対して頑健であり、不完全またはノイズのある類似性信号が存在しても、公平性の向上を維持した。
• 実験的結果により、学習された指標を用いて訓練されたモデルは、予測精度を損なわずに、より高い公平性を達成した。
• 学習された指標はタスク間で一般化可能であり、複雑または非線形な類似性構造が存在する場合でも有効であった。