[論文レビュー] A Human-in-the-loop Framework to Construct Context-dependent Mathematical Formulations of Fairness

Mohammad Yaghini, Hoda Heidari+1 more|arXiv (Cornell University)|Nov 8, 2019

Ethics and Social Impacts of AI参考文献 22被引用数 5

ひとこと要約

本稿では、ヒューマンインザループフレームワークを提案する。このフレームワークは、ヘイダリらの等価機会（EOP）モデルにおけるパラメータをキャリブレーションすることで、人間の判断を用いて文脈特有の公平性の数学的定式化を構築する。社会的文脈や倫理的配慮を反映するため、公平性の主観的認識（例えば、報酬の適正さ、状況、利便性）を形式的な経済モデルに統合することで、文脈に適応した公平性定義を可能にし、アルゴリズムの公平性を捉えるために人間の判断が不可欠であることを示している。

ABSTRACT

Despite the recent surge of interest in designing and guaranteeing mathematical formulations of fairness, virtually all existing notions of algorithmic fairness fail to be adaptable to the intricacies and nuances of the decision-making context at hand. We argue that capturing such factors is an inherently human task, as it requires knowledge of the social background in which machine learning tools impact real people's outcomes and a deep understanding of the ramifications of automated decisions for decision subjects and society. In this work, we present a framework to construct a context-dependent mathematical formulation of fairness utilizing people's judgment of fairness. We utilize the theoretical model of Heidari et al. (2019)---which shows that most existing formulations of algorithmic fairness are special cases of economic models of Equality of Opportunity (EOP)---and present a practical human-in-the-loop approach to pinpoint the fairness notion in the EOP family that best captures people's perception of fairness in the given context. To illustrate our framework, we run human-subject experiments designed to learn the parameters of Heidari et al.'s EOP model (including circumstance, desert, and utility) in a hypothetical recidivism decision-making scenario. Our work takes an initial step toward democratizing the formulation of fairness and utilizing human-judgment to tackle a fundamental shortcoming of automated decision-making systems: that the machine on its own is incapable of understanding and processing the human aspects and social context of its decisions.

研究の動機と目的

• 既存のアルゴリズムの公平性定式化が現実の意思決定文脈に適応できないという問題に対処すること。
• 公平性を定義するには、自動化システムだけでは得られない社会的文脈や社会的影響に関する人間の理解が必要であることを認識すること。
• 文脈的なニュアンスを反映するため、人間の判断を数学的公平性モデルに統合する実用的な手法を開発すること。
• 公平性の認識が文脈によって異なること、そして人間被験者による実験を通じて体系的に捉えることができるということを示すこと。

提案手法

• ヘイダリらの理論的モデルを適応し、既存の公平性概念を経済理論における等価機会（EOP）の特殊ケースとして定式化すること。
• 仮想の再犯意思決定シナリオにおいて、参加者が公平性をどのように認識しているかを特定する人間被験者実験を設計すること。
• EOPの3つの主要パラメータ（状況、報酬の適正さ、利便性）に関する人間の判断を収集し、公平性モデルをキャリブレーションすること。
• これらの判断を用いて、特定の文脈における人間の公平性認識と最も整合するEOP定式化を同定すること。
• 集団の人的入力をもとに、反復的に公平性モデルを改善するヒューマンインザループアプローチを適用すること。
• 得られた公平性定義を、現実のシステムに導入可能な文脈依存の数学的モデルとして形式化すること。

実験結果

リサーチクエスチョン

• RQ1 特定の意思決定文脈において、EOPの家族内から人間の公平性認識を最もよく捉える具体的な定式化は何か？
• RQ2 報酬の適正さ、状況、利便性に関する人間の判断は、異なる社会的および意思決定文脈でどのように変化するか？
• RQ3 人間の入力は、アルゴリズムの公平性と社会的価値の整合性をどの程度向上させられるか？
• RQ4 体系的なヒューマンインザループプロセスは、文脈特有の公平性定義を信頼性高く同定できるか？
• RQ5 主観的な公平性判断と標準的なアルゴリズムの公平性指標との間には、どのような違いがあるか？

主な発見

• 報酬の適正さや状況といった公平性パラメータに関する人間の判断は、文脈によって顕著に異なることが判明し、公平性が普遍的に定義されるわけではないことが示された。
• 人間の入力をキャリブレーションしたEOPモデルは、標準的な公平性指標よりも参加者の認識とより整合性の高い公平性定式化を生み出した。
• 参加者の公平性認識は、個々の努力（報酬の適正さ）や背景的状況といった文脈要因に敏感であり、これらは標準的な公平性定義ではしばしば無視されている。
• ヒューマンインザループフレームワークは、洗練された社会的価値を反映する文脈特有の公平性定式化を効果的に同定できた。
• 本研究は、現実の社会的・倫理的配慮を反映する公平性モデルを構築するには、人間の判断が不可欠であることを示している。