[論文レビュー] Fair Models in Credit: Intersectional Discrimination and the Amplification of Inequity

Savina Kim, Stefan Lessmann+2 more|arXiv (Cornell University)|Aug 1, 2023

Housing, Finance, and Neoliberalism被引用数 5

ひとこと要約

本研究では、実世界のスペインの代替信用データを用いて、マイクロファイナンスの信用スコアリングにおける交差的差別を調査し、機械学習モデルが法的に保護された特徴（例：性別や人種）を超えて、重複するアイデンティティ（例：複数の子供を育てている未婚の母親）を有する個人に対して不利益を及える傾向があることを明らかにした。集団レベルでの公平性施策にもかかわらず、感受性のある属性の組み合わせによる効果が顕在化し、現在の公平性フレームワークに内在する構造的欠陥が露呈された。

ABSTRACT

The increasing usage of new data sources and machine learning (ML) technology in credit modeling raises concerns with regards to potentially unfair decision-making that rely on protected characteristics (e.g., race, sex, age) or other socio-economic and demographic data. The authors demonstrate the impact of such algorithmic bias in the microfinance context. Difficulties in assessing credit are disproportionately experienced among vulnerable groups, however, very little is known about inequities in credit allocation between groups defined, not only by single, but by multiple and intersecting social categories. Drawing from the intersectionality paradigm, the study examines intersectional horizontal inequities in credit access by gender, age, marital status, single parent status and number of children. This paper utilizes data from the Spanish microfinance market as its context to demonstrate how pluralistic realities and intersectional identities can shape patterns of credit allocation when using automated decision-making systems. With ML technology being oblivious to societal good or bad, we find that a more thorough examination of intersectionality can enhance the algorithmic fairness lens to more authentically empower action for equitable outcomes and present a fairer path forward. We demonstrate that while on a high-level, fairness may exist superficially, unfairness can exacerbate at lower levels given combinatorial effects; in other words, the core fairness problem may be more complicated than current literature demonstrates. We find that in addition to legally protected characteristics, sensitive attributes such as single parent status and number of children can result in imbalanced harm. We discuss the implications of these findings for the financial services industry.

研究の動機と目的

• 自動意思決定システムにおける、性別、年齢、婚姻状態、未婚親状態、子供の数といった交差的アイデンティティが、信用取得にどのように影響するかを調査すること。
• 集計レベルでの公平性測定にとどまる場合、サブグループレベルでの深刻な不平等が生じる可能性があるかどうかを評価すること。
• 法的に保護されていない感受性のある属性（例：未婚親状態や家族構成）が、アルゴリズムによる信用割り当てにおける不均衡な被害を引き起こす可能性があることを示すこと。
• 現在の規制フレームワークが、フィンテックおよび代替信用データシステムにおける交差的差別を十分に扱えていないことの限界を浮き彫りにすること。
• 信用リスクモデリングにおいて、複数の重複するアイデンティティを考慮する、より洗練された公平性の視点を機械学習分野に提唱すること。

提案手法

• 本研究では、スペインのマイクロファイナンスプラットフォームから得た10万件を超える未担保ローンの実世界データセットを用い、信用割り当てのパターンを分析した。
• 非伝統的な社会的・文化的特徴を含む代替信用データを用いて、機械学習モデルを適用し、信用力の予測を実施した。
• 研究者は、若き未婚の母親が複数の子供を育てているような、組み合わせ的アイデンティティの公平性を評価するために、交差的分析を採用した。
• 予測誤差と承認率の比較を通じて、交差する人口統計的サブグループ間での公平性を評価した。
• 保護された属性や感受性のある属性の代理として機能する可能性がある、見かけ上中立的な特徴（例：郵便番号、教育水準）が、どのようにして差別的結果を引き起こすかを分析することで、代理差別を評価した。
• 従来の信用モデルと代替データを活用したモデルの両方を比較し、不平等がどこで生じるかを特定した。

実験結果

リサーチクエスチョン

• RQ1 性別、年齢、婚姻状態、未婚親状態、子供の数といった交差的アイデンティティが、自動化されたマイクロファイナンス融資システムにおける信用取得にどのように影響するか。
• RQ2 集団レベルでのアルゴリズム的公平性が測定されたとしても、サブグループレベルでの顕著な不平等が生じる可能性はどの程度か。
• RQ3 法的に保護されていない感受性のある属性（例：未婚親状態や家族構成）が、信用スコアリングモデルにおける不均衡な被害を引き起こす可能性があるか。
• RQ4 代替信用データと複雑なモデリングプロセスは、従来の信用評価方法と比較して、交差的差別をどのように拡大または隠蔽するか。
• RQ5 保護された特徴の代理変数がモデルの入力に使用される場合、規制フレームワークが交差的差別を十分に扱えていないのはどのような点か。

主な発見

• 集団レベルでの全体的な公平性にもかかわらず、交差的アイデンティティの組み合わせ効果により、サブグループレベルで信用承認率や予測誤差の顕著な格差が生じた。
• 保護された特徴がモデルに直接使用されていなくても、若く未婚の母親で複数の子供を育てている人々は、最も深刻な不平等な扱いを受ける傾向にあった。
• 未婚親状態や子供の数といった感受性のある属性が、不均衡な被害をもたらす要因となっていることから、公平性フレームワークが法的に保護されたカテゴリを越えて拡張する必要があることが示された。
• 郵便番号、収入、教育水準といった代理変数は、構造的差別の代理として機能し得るため、保護された属性が訓練データに含まれない場合でも差別的結果を生じる可能性がある。
• 本研究では、代替信用データと高度なMLモデルが、複雑な交差的不利要因を捉えることで、不平等を意図せず拡大する可能性があることを示した。
• 現在の規制基準は、複数の感受性のある属性とその代理変数の複合的影響を十分に考慮できていないため、交差的差別を適切に扱えていない。