[論文レビュー] An Algorithmic Framework for Fairness Elicitation

Christopher Jung, Michael Kearns+4 more|arXiv (Cornell University)|May 25, 2019

Ethics and Social Impacts of AI参考文献 32被引用数 9

ひとこと要約

本論文は、ステークホルダーが個人同士の対比較を通じて、ある人物をもう一人の人物と同等またはより良く扱うべきかどうかを指定することで、公平性制約を引き出すためのアルゴリズム的フレームワークを提案する。この手法は、オракル効率的かつ証明可能に収束する最適化アルゴリズムを用い、主観的制約下での公平なモデル学習を実現し、一般化性能を高く保ちつつ、公平性と精度のトレードオフを可能にする。COMPASデータセットを用いた実証的検証により、主観的公平性と統計的公平性指標の整合性が示された。

ABSTRACT

We consider settings in which the right notion of fairness is not captured by simple mathematical definitions (such as equality of error rates across groups), but might be more complex and nuanced and thus require elicitation from individual or collective stakeholders. We introduce a framework in which pairs of individuals can be identified as requiring (approximately) equal treatment under a learned model, or requiring ordered treatment such as "applicant Alice should be at least as likely to receive a loan as applicant Bob". We provide a provably convergent and oracle efficient algorithm for learning the most accurate model subject to the elicited fairness constraints, and prove generalization bounds for both accuracy and fairness. This algorithm can also combine the elicited constraints with traditional statistical fairness notions, thus "correcting" or modifying the latter by the former. We report preliminary findings of a behavioral study of our framework using human-subject fairness constraints elicited on the COMPAS criminal recidivism dataset.

研究の動機と目的

• 定義済みの解析的公平性定義の限界を克服するため、ステークホルダーを関与させ、対比較を通じて公平性を定義すること。
• 得られた公平性制約のもとで、収束性と一般化性能を保証しつつ、最も正確なモデルを学習するアルゴリズムの開発。
• 主観的公平性の好みを、従来の統計的公平性の概念と統合すること。
• 人間の公平性認識のばらつきと、標準的な公平性指標との整合性を実証的に調査すること。

提案手法

• 四択の対比較を通じて公平性の好みを抽出：同等扱い、AをBより好む、BをAより好む、または制約なし。
• ステークホルダーの好みを順序対 (x, x') ∈ Cu として表現し、x' は x と同等またはそれ以上の扱いを受けるべきであることを示す。
• 公平性違反の閾値 γ とトレードオフパラメータ η を用いた制約付き最適化フレームワークを採用し、精度と公平性のバランスを図る。
• オракルへのアクセスを有する投影勾配降下に基づく学習ヒューリスティクスを用いて、制約付き学習問題を解く。
• VC次元に基づく一般化バウンドを適用し、精度および公平性の両方の統計的信頼性を保証する。
• 共同最適化を通じて、主観的制約と標準的な公平性概念（例：等しいオッズ）を統合可能にする。

実験結果

リサーチクエスチョン

• RQ1 定義済みの数学的定義に依存せずに、技術的でないステークホルダーから意味的に意味のある公平性をどのように引き出せるか？
• RQ2 収束性と一般化性能を保証しつつ、主観的公平性制約のもとで、効率的に正確なモデルを学習できるアルゴリズムは存在するか？
• RQ3 公平性認識の個人差は、モデルの精度と公平性のトレードオフにどのように影響するか？
• RQ4 主観的公平性の好みは、等しい偽陽性率といった標準的な統計的公平性指標とどの程度整合するか？

主な発見

• 実際の実行ではアルゴリズムが急速に収束し、被験者ごとに通常1,000イタレーション以内で収束する。
• 主観的公平性制約の難易度には顕著なばらつきが見られ、一部の被験者はほぼ線形のパレート曲線を示し、他の被験者はわずかな精度コストで大幅な公平性向上が可能である。
• 制約数だけでは、γ = 0.3におけるモデル誤差の分散の約69%しか説明できないため、制約の内容や構造が数の多さよりも重要であることが示された。
• 真のラベルが異なるペアを含む制約は、誤差との相関が弱く（0.489）、制約数よりも制約の性質が困難さに与える影響が顕著であることが示唆された。
• 43名の被験者からの集約的制約は最悪ケースのパレート曲線を生成するが、そのうちの25%の制約が大多数の公平性コストを占めており、少数の制約がモデルの難易度を支配していることが示された。
• 主観的公平性は、白人対アフリカ系アメリカ人の間の偽陽性率差の低減と中程度の相関を示すが、他の人種グループペアでは相関が弱い。