[論文レビュー] Eliciting and Enforcing Subjective Individual Fairness.

Christopher Jung, Michael Kearns+4 more|arXiv (Cornell University)|May 25, 2019

Ethics and Social Impacts of AI参考文献 21被引用数 41

ひとこと要約

本稿では、事前に定義された公平性メトリクスを仮定せずに、同じように扱われるべきとされる人間がアノテートしたペアから公平性制約を学習することで、主観的個人公平性を引き出し、強制するフレームワークを提案する。予測誤差を最小化しながらこれらの主観的公平性制約を満たす、オракル効率的で、証明可能に収束するアルゴリズムを導入し、理論的分析とCOMPASデータセットにおける行動研究を通じて、精度および公平性の両方における一般化を示している。

ABSTRACT

We revisit the notion of individual fairness first proposed by Dwork et al. [2012], which asks that similar individuals should be treated similarly. A primary difficulty with this definition is that it assumes a completely specified fairness metric for the task at hand. In contrast, we consider a framework for fairness elicitation, in which fairness is indirectly specified only via a sample of pairs of individuals who should be treated (approximately) equally on the task. We make no assumption that these pairs are consistent with any metric. We provide a provably convergent oracle-efficient algorithm for minimizing error subject to the fairness constraints, and prove generalization theorems for both accuracy and fairness. Since the constrained pairs could be elicited either from a panel of judges, or from particular individuals, our framework provides a means for algorithmically enforcing subjective notions of fairness. We report on preliminary findings of a behavioral study of subjective fairness using human-subject fairness constraints elicited on the COMPAS criminal recidivism dataset.

研究の動機と目的

• 個別公平性が事前に指定されたメトリクスを必要とするという限界を克服し、人間の判断から公平性を引き出すこと。
• メトリクスの一貫性を仮定せずに、主観的な対比較から得られる公平性制約をアルゴリズムが強制できること。
• 提案されたフレームワーク下でのモデルの精度および公平性について、一般化バウンドを証明すること。
• COMPAS再犯データセットからの現実の公平性制約を用いた行動研究を通じて、フレームワークを実証的に評価すること。

提案手法

• 人間のジャッジまたは個人から、2人の人物が同様に扱われるべきであるとされる公平性の対比較制約の集合を収集する。
• 学習問題を、予測誤差を最小化する制約付き最適化問題として定式化し、対比較から得られる公平性制約を満たすようにモデルを学習させる。
• 反復的に公平性オラクルを照会して制約の満たされ具合を確認し、それに応じて予測を調整する、オラクル効率的なアプローチを用いる。
• 投影勾配降下法や類似の反復的改善手法のような、証明可能に収束する最適化手法を採用し、妥当かつ正確な解への収束を保証する。
• 理論的分析により、精度および公平性の両方について一般化バウンドを確立し、モデルが未観測データでも良好に動作することを示す。
• 行動研究を通じて、人間の被験者から収集した公平性制約を用いて、COMPAS犯罪再犯データセット上で手法を評価する。

実験結果

リサーチクエスチョン

• RQ1 事前に定義された公平性メトリクスを仮定せずに、人間の判断から公平性を効果的に引き出せるか？
• RQ2 一貫性のない可能性のある対比較公平性制約の集合を、効率的に満たすアルゴリズムはどのように構築できるか？
• RQ3 主観的公平性制約の下で学習されたモデルの一般化特性は何か？
• RQ4 実際の応用において、人間が引き出した公平性制約は、メトリクスに基づく公平性定義とどのように異なるか？
• RQ5 主観的公平性制約は、現実の応用においてモデルの精度および公平性にどのような影響を与えるか？

主な発見

• 提案されたアルゴリズムは、すべての公平性制約を満たしつつ予測誤差を最小化する解へ、証明可能に収束する。
• 精度および公平性の両方について一般化バウンドが確立され、モデルが未観測データでも良好に動作することが示された。
• 行動研究により、人間が引き出した公平性制約は多様であり、かつ単一のメトリクスとはしばしば一貫しないことが明らかになった。これにより、柔軟なフレームワークの必要性が裏付けられた。
• 事前に定義されたメトリクスを必要とせず、人間の直感的公平性をアルゴリズム的に強制できることが、フレームワークによって実現された。
• このフレームワーク下で学習されたモデルは、高い精度を維持しながら、複雑な人間由来の公平性制約を満たすことができた。