[論文レビュー] Fairness in Algorithmic Profiling: A German Case Study

Christoph Kern, Ruben L. Bach+2 more|arXiv (Cornell University)|Aug 4, 2021

Ethics and Social Impacts of AI参考文献 38被引用数 10

ひとこと要約

本研究では、ドイツの求職者における長期失業を予測する統計モデルの性能を、行政データを用いて評価し、ロジスティック回帰、罰則付き回帰、ランダムフォレスト、勾配ブースティングを比較している。分類ポリシーが公平性に顕著な影響を及ぼすことが判明し、特にドイツ国籍でない求職者が高リスクグループに過小評価される傾向がある。アルゴリズム的プロファイリングシステムにおける差別のを防ぐために、厳密な監査の実施が不可欠であることが示唆された。

ABSTRACT

Algorithmic profiling is increasingly used in the public sector as a means to allocate limited public resources effectively and objectively. One example is the prediction-based statistical profiling of job seekers to guide the allocation of support measures by public employment services. However, empirical evaluations of potential side-effects such as unintended discrimination and fairness concerns are rare. In this study, we compare and evaluate statistical models for predicting job seekers' risk of becoming long-term unemployed with respect to prediction performance, fairness metrics, and vulnerabilities to data analysis decisions. Focusing on Germany as a use case, we evaluate profiling models under realistic conditions by utilizing administrative data on job seekers' employment histories that are routinely collected by German public employment services. Besides showing that these data can be used to predict long-term unemployment with competitive levels of accuracy, we highlight that different classification policies have very different fairness implications. We therefore call for rigorous auditing processes before such models are put to practice.

研究の動機と目的

• ドイツの求職者における長期失業の予測性能を、実際の行政データを用いた統計モデルの評価を目的とする。
• 上位10%、25%、または中央50%のリスクスコアを対象とする異なる分類ポリシーが、公平性に与える影響を調査することを目的とする。
• 訓練データの期間やしきい値の選定といったデータ分析意思決定が、統計的同等性といった公平性指標に与える影響を検討することを目的とする。
• 訓練時に保護属性（性別、国籍）を含めない場合でも、それらの属性がモデル予測に影響を及えるかどうかを評価することを目的とする。
• アルゴリズム的プロファイリングシステムの導入前に、意図しない差別を防ぐために体系的な監査を実施するよう提言することを目的とする。

提案手法

• 匿名化されたドイツ労働市場行政データを用いて、ロジスティック回帰、罰則付きロジスティック回帰、ランダムフォレスト、勾配ブースティングの4つの機械学習モデルを訓練した。
• データ可用性への感受性を評価するため、全期間と時間制限付きの2種類の歴史的訓練ウィンドウを用いた2つのモデルバージョンを構築した。
• 上位10%（極めて高いリスク）、上位25%（高いリスク）、中央50%（中程度のリスク）の予測されたLTUスコアを対象とする3つの分類ポリシーを実装した。
• 予測パフォーマンスは標準指標（例：正解率、AUC）で測定し、公平性は性別および国籍ごとの統計的同等性差で評価した。
• 教育水準を制御することで、保護属性に起因する影響を分離するための条件付き公平性分析を実施した。
• しきい値やデータ制約の変化に伴うモデル行動を評価し、設計選択への感受性と耐性を検証した。

実験結果

リサーチクエスチョン

• RQ1 実際の行政データを用いたドイツの求職者における長期失業予測において、異なる機械学習モデルの性能はどの程度か？
• RQ2 上位10%と中央50%を対象とするなど、分類ポリシーを変更することで、公共雇用サービスにおけるリスクベースの優先順位付けの公平性にどのような影響が生じるか？
• RQ3 訓練時にこれらの属性を含めない場合でも、モデル予測が性別および国籍によって系統的に異なる程度はどの程度か？
• RQ4 訓練データ期間やしきい値選定といったデータ分析意思決定が、アルゴリズム的プロファイリングにおける公平性指標に与える影響は？
• RQ5 観察された差異は、特に是正措置や差別の防止目標を考慮した政策設計にどのような意味を持つのか？

主な発見

• モデルは競争力のある予測精度を達成しており、他の国で同様のシステムが報告したものと同等の水準であった。これは、ドイツの公共雇用サービスにおける実用的導入の可能性が強いことを示唆している。
• 訓練時に保護属性を含めないにもかかわらず、すべてのモデルが、男性と女性の求職者、ドイツ国籍と非ドイツ国籍の求職者の間で、長期失業（LTU）分類率に既存の格差を悪化させていることが判明した。
• 統計的同等性差は、性別よりも国籍のほうが顕著で、特に上位10%および上位25%のポリシーでは、非ドイツ国籍の求職者が高リスクと分類される可能性が低かった。
• 中程度リスクのケースに焦点を当てた分類ポリシーでは、逆に非ドイツ国籍の求職者が高リスクと分類される可能性が上昇し、公平性の結果がポリシーに依存することが示された。
• 教育水準を制御しても公平性の格差は完全に解消されず、国籍と相関する観察されない変数や代理変数が依然として予測に影響していることが示唆された。
• 時間制限付きの訓練データは公平性格差を顕著に減少させず、構造的な労働市場格差が限られた歴史的データでさえもモデルが強く捉えていることを示している。