[論文レビュー] Fairness On The Ground: Applying Algorithmic Fairness Approaches to Production Systems

Chloé Bakalar, Renata da Costa Barreto+14 more|arXiv (Cornell University)|Mar 10, 2021

Ethics and Social Impacts of AI参考文献 56被引用数 10

ひとこと要約

この論文は、規範的政策意思決定と実証的実装指標を分離することで、大規模なプロダクションシステムへのアルゴリズム的公平性の統合を実用的に行うフレームワークを提示する。誤りの害と利益の明確なトレードオフに基づく測定アプローチを導入し、MLモデルにおけるしきい値分析と信号検出理論（SDT）を用いて人間のラベル付け者の意思決定しきい値を推定することで、現実世界のシステムにおける実行可能な公平性対策を可能にする。

ABSTRACT

Many technical approaches have been proposed for ensuring that decisions made by machine learning systems are fair, but few of these proposals have been stress-tested in real-world systems. This paper presents an example of one team's approach to the challenge of applying algorithmic fairness approaches to complex production systems within the context of a large technology company. We discuss how we disentangle normative questions of product and policy design (like, "how should the system trade off between different stakeholders' interests and needs?") from empirical questions of system implementation (like, "is the system achieving the desired tradeoff in practice?"). We also present an approach for answering questions of the latter sort, which allows us to measure how machine learning systems and human labelers are making these tradeoffs across different relevant groups. We hope our experience integrating fairness tools and approaches into large-scale and complex production systems will be useful to other practitioners facing similar challenges, and illuminating to academics and researchers looking to better address the needs of practitioners.

研究の動機と目的

• 理論的公平性手法と大規模システムにおける実際の導入の間のギャップを埋める。
• 規範的政策の問い（例：誰がコストを負担するか）を、実証的実装の問い（例：システムが意図したトレードオフを達成しているか）から分離する。
• 異なるデモグラフィックグループにわたる意思決定のコストと利益を明確にする測定フレームワークを開発する。
• 生産環境におけるML駆動意思決定と人間のラベル付け者の行動の両方に対する公平性評価を適用する。
• スケーラブルで文脈に配慮した公平性のアプローチを提供し、実務家と研究者に実行可能なインサイトを提供する。

提案手法

• 公平性を製品設計、政策策定、システム実装の3段階に分離し、的確な干渉を導く。
• しきい値出現率分析を用いて、MLモデルがグループごとに誤検出と誤未検出をどの程度優先しているかを測定する。
• 信号検出理論（SDT）を適用して、人間のラベル付け者が使用する潜在的決定しきい値を推定し、彼らを心理的意思決定者として扱う。
• 公平性を害（誤検出、誤未検出）と利益のトレードオフとしてフレームする。これにより、価値に基づく選択を明確にする。
• 抽象的な統計的同等性ではなく、現実世界の影響に基づく指標を用いて公平性を測定することで、ステークホルダーの優先順位と整合させる。
• モデルの挙動と人間のラベル付け実務を診断することで、公平性問題の根本原因を特定する。特に、ラベルバイアスの事例において有効である。

実験結果

リサーチクエスチョン

• RQ1 規範的公平性意思決定（例：利害関係者の間のトレードオフ）を、生産システムにおける実証的公平性測定から分離するにはどうすればよいか。
• RQ2 MLシステムと人間のラベル付けプロセスにおける実装段階の公平性を効果的に測定する指標は何か。
• RQ3 公平性指標に内蔵された暗黙の価値判断をどのように明確化し、監査可能にするか。
• RQ4 信号検出理論（SDT）を用いて、現実世界のシステムにおける人間のラベル付け者のバイアスを推定・是正できる範囲はどの程度か。
• RQ5 測定誤差、ラベルの不正確さ、または悪意ある行動を伴うシステムに標準的な公平性指標を適用した場合の限界は何か。

主な発見

• このアプローチにより、規範的意思決定（例：誤りのコストを誰が負担すべきか）と実証的測定を明確に分離でき、ステークホルダーの整合性が向上した。
• しきい値出現率分析により、MLシステムにおける異なるデモグラフィックグループ間で、誤検出率と誤未検出率に系統的な差が生じていることが判明し、偏った優先順位が示された。
• 信号検出理論（SDT）により、人間のラベル付け者が使用する潜在的決定しきい値が推定可能となり、ラベル付け行動における一貫性の欠如とバイアスが露呈された。
• ラベル付けバイアスは、ガイドライン、選抜プロセス、インcentivesに極めて敏感であることが判明し、行動的介入によって不均衡を是正できる可能性が示された。
• 特に自己申告ではなく推定された属性ラベルにおける測定誤差は、公平性評価を著しく歪める可能性がある。
• 単一の指標では複雑なシステムに対応できない。フィードバックループにおける発生的相互作用のため、公平性はコンポonentレベルとシステム全体レベルの両方で評価されなければならない。