[論文レビュー] Fairness in machine learning: against false positive rate equality as a measure of fairness

Robert R. Long|arXiv (Cornell University)|Jul 6, 2020

Ethics and Social Impacts of AI参考文献 23被引用数 6

ひとこと要約

この論文は、機械学習における公平性の指標としての偽陽性率（FPR）平等の倫理的妥当性に疑問を呈し、それが意味的な意味のある公平性を追跡できないと主張する。ロバート・ロンは、倫理的枠組みを用いて、FPR平等が公平性の原則と一致しないため、基準として整合性がとれないと示している。これにより、キャリブレーションとFPR平等の間には必然的な公平性のトレードオフがあるという広く信じられている仮定が揺るがされる。

ABSTRACT

As machine learning informs increasingly consequential decisions, different metrics have been proposed for measuring algorithmic bias or unfairness. Two popular fairness measures are calibration and equality of false positive rate. Each measure seems intuitively important, but notably, it is usually impossible to satisfy both measures. For this reason, a large literature in machine learning speaks of a fairness tradeoff between these two measures. This framing assumes that both measures are, in fact, capturing something important. To date, philosophers have not examined this crucial assumption, and examined to what extent each measure actually tracks a normatively important property. This makes this inevitable statistical conflict, between calibration and false positive rate equality, an important topic for ethics. In this paper, I give an ethical framework for thinking about these measures and argue that, contrary to initial appearances, false positive rate equality does not track anything about fairness, and thus sets an incoherent standard for evaluating the fairness of algorithms.

研究の動機と目的

• 偽陽性率（FPR）平等が機械学習における公平性の規範的意味のある指標として機能するかどうかを検討すること。
• FPR平等とキャリブレーションが必然的な公平性のトレードオフを形成すると広く信じられているという仮定に反論すること。
• FPR平等が道徳的に関連する性質を捉えられるかどうかに焦点を当て、公平性指標の倫理的分析を提供すること。
• FPR平等が規範的整合性に欠けるため、公平性基準として失敗するという主張をすること。
• FPR平等をアルゴリズム公平性の正当な基準として認めないことで、公平性の議論を再定式化すること。

提案手法

• 規範的倫理に基づく倫理的枠組みを構築し、公平性指標を評価する。
• FPR平等とキャリブレーションを公平性基準としての概念的・道徳的基盤を分析する。
• キャリブレーションとFPR平等の統計的不適合性を検討し、両者が倫理的に正当化可能かどうかを検証する。
• 哲学的推論を用いて、FPR平等が真の公平性懸念を反映しているのか、それとも倫理的に整合性のないものであるかを評価する。
• FPR平等を他の公平性指標と対比することで、その概念的欠陥を浮き彫りにする。
• FPR平等は公平性を追跡しないと主張する。なぜなら、それがシステム的不正義が生じている状況でも満たされる可能性があるからである。

実験結果

リサーチクエスチョン

• RQ1 偽陽性率平等は、機械学習における道徳的に重要な公平性基準として成立するか？
• RQ2 キャリブレーションとFPR平等の間の一般的なトレードオフ仮定が、なぜ倫理的に問題となるのか？
• RQ3 FPR平等は規範的公平性基準として正当化可能か、それとも概念的に整合性のないものか？
• RQ4 アルゴリズム意思決定における公平性評価に、どのような倫理的原則が根拠となるべきか？
• RQ5 FPR平等が公平性指標として失敗することで、アルゴリズム公平性に関する包括的議論にどのような影響が生じるか？

主な発見

• 偽陽性率平等は、規範的に重要な公平性の性質を追跡しないため、アルゴリズム公平性の評価基準として失敗する。
• FPR平等が意味的公平性指標であるという仮定は、倫理的に正当でなく、概念的に整合性がとれていない。
• キャリブレーションとFPR平等の間の広く引用されるトレードオフは、FPR平等が倫理的根拠を欠いているという誤った前提に基づいている。
• FPR平等は、システム的不正義が生じている状況でも満たされる可能性があるため、公平性の良い代理指標とはならない。
• この論文は、FPR平等を機械学習システムの倫理的評価における公平性基準として使用すべきでないと結論づける。
• 本論文で開発された倫理的枠組みは、FPR平等を排除する根拠を提供する一方で、キャリブレーションが公平性基準として正当であることを維持する。