[論文レビュー] Characterizing Fairness Over the Set of Good Models Under Selective Labels

Amanda Coston, Ashesh Rambachan+1 more|arXiv (Cornell University)|Jan 2, 2021

Ethics and Social Impacts of AI参考文献 46被引用数 13

ひとこと要約

この論文では、選択的ラベリング下で、高い性能を示すモデルの集合（'Rashomon集合'）における予測の公平性を分析するためのFaiRSというフレームワークを紹介する。性能を維持しつつ公平性の乖離が最小限のモデルを特定することで、監査とモデル交換を可能にし、与信スコアリングおよび再犯予測のデータセットにおいて、精度を犠牲にすることなく公平性を向上させることを実証した。

ABSTRACT

Algorithmic risk assessments are used to inform decisions in a wide variety of high-stakes settings. Often multiple predictive models deliver similar overall performance but differ markedly in their predictions for individual cases, an empirical phenomenon known as the "Rashomon Effect." These models may have different properties over various groups, and therefore have different predictive fairness properties. We develop a framework for characterizing predictive fairness properties over the set of models that deliver similar overall performance, or "the set of good models." Our framework addresses the empirically relevant challenge of selectively labelled data in the setting where the selection decision and outcome are unconfounded given the observed data features. Our framework can be used to 1) replace an existing model with one that has better fairness properties; or 2) audit for predictive bias. We illustrate these uses cases on a real-world credit-scoring task and a recidivism prediction task.

研究の動機と目的

• 全体の精度に関して同等に性能を発揮する複数のモデルにおける予測の公平性を評価するためのフレームワークを開発すること。
• 結果が特定のケースにのみ観測される選択的ラベリングの課題に対処すること。これは、特徴量の下で非共変性が保証される条件下でのものである。
• 既存のモデルを、公平性の性質が優れているが性能は同等のモデルに交換可能にするための支援をすること。
• 監査官が、現在のモデルが「業務上の必要性」に基づいて正当化できるかどうかを評価できるようにし、優れた性能を示すモデルの集合内に、より公平な代替モデルが存在するかを確認すること。
• 公平性分析を単一のモデルにとどめず、同等の性能を達成する全モデルの集合にまで拡張し、公平性結果におけるRashomon効果を捉えること。

提案手法

• FaiRSは、ベンチマークモデルの性能許容誤差内にあるモデルの集合上で、公平性の高いモデルの探索を最適化問題として定式化する。
• 線形計画法の還元を用いて、与えられた公平性指標に関して、グループ間の予測乖離の最小値と最大値を計算する。
• 全体の損失に制約を課すことで、モデルがベンチマークモデルの指定された性能許容誤差内にあることを保証する。
• 選択的ラベリングの設定では、理論的保証を維持するために、結果の回帰関数へのオラクルアクセスを用いたFaiRSの変種が提案される。
• 分類および回帰の両タスクをサポートし、統計的平等性や正例・負例クラスのバランスといった標準的な公平性指標を用いる。
• Rashomon効果を活用し、同等の全体的性能を示すモデルの間での公平性結果の範囲を探索する。

実験結果

リサーチクエスチョン

• RQ1 ベンチマークモデルと同等の性能を示すモデルの集合において、予測乖離の範囲はどの程度達成可能か？
• RQ2 優れた性能を示すモデルの集合内に、ベンチマークモデルよりも顕著に低い予測乖離を達成するモデルは存在するか？
• RQ3 性能が現在のモデルと同等の、より公平なモデルを特定でき、それが「業務上の必要性」に基づくモデル選択の正当化に役立つのか？
• RQ4 すべての個人に対して結果が観測されない選択的ラベル設定下で、このフレームワークはどの程度の性能を示すか？
• RQ5 与信スコアリングや再犯予測といった実世界の応用において、全体の予測精度を犠牲にすることなく、どの程度公平性を向上させられるか？

主な発見

• COMPAS再犯予測データセットにおいて、FaiRSはベンチマークモデルが黒人被告と白人被告の間で、集合内のいかなるモデルよりも大きな予測乖離を生じていることを特定した。
• Rashomon集合内の乖離最小化モデルは、統計的平等性の乖離をCOMPASの0.200から-0.207に低下させ、テスト損失（0.098 vs. 0.102）は同等を維持した。
• 与信スコアリングタスクにおいて、FaiRSはベンチマークモデルより低い予測乖離を示すモデルを同定し、テスト損失0.096（ベンチマークの0.102の3%以内）を達成した。
• コミュニティと犯罪の回帰タスクにおいて、FaiRSは白人多数コミュニティと非白人コミュニティの間での予測暴行犯罪率の乖離を、ベンチマークの-0.3386から-0.2658に低下させ、テスト損失は6.9%増加（0.0108 vs. 0.0101）にとどめた。
• 結果の回帰関数へのオラクルアクセスを用いる場合、一般化誤差および予測乖離に関する理論的保証が、選択的ラベリング下でも維持される。
• 結果として、性能の妥協なしに公平性を向上させられることが示され、既存のモデルが「業務上の必要性」に基づいて正当化される根拠に疑問を呈するものとなった。