[論文レビュー] Unintended Selection: Persistent Qualification Rate Disparities and Interventions

Reilly Raab, Yang Liu|arXiv (Cornell University)|Nov 1, 2021

Complex Systems and Time Series Analysis被引用数 6

ひとこと要約

本稿では、ベイズ最適でグループに依存しない分類器のもとで、グループごとの資格率格差が、初期分布が同一であるにもかかわらず、どのように持続するかを解明する動的モデルを提案する。反復的学習のダイナミクスにより、初期の資格率の不均衡が、長期にわたり格差を生じさせることを示し、リアルタイムのグループパフォーマンスに基づいて分類器ポリシーを調整するフィードバック制御機構を導入することで、このような格差を恒久的に解消できることを示す。

ABSTRACT

Realistically -- and equitably -- modeling the dynamics of group-level disparities in machine learning remains an open problem. In particular, we desire models that do not suppose inherent differences between artificial groups of people -- but rather endogenize disparities by appeal to unequal initial conditions of insular subpopulations. In this paper, agents each have a real-valued feature $X$ (e.g., credit score) informed by a "true" binary label $Y$ representing qualification (e.g., for a loan). Each agent alternately (1) receives a binary classification label $\\hat{Y}$ (e.g., loan approval) from a Bayes-optimal machine learning classifier observing $X$ and (2) may update their qualification $Y$ by imitating successful strategies (e.g., seek a raise) within an isolated group $G$ of agents to which they belong. We consider the disparity of qualification rates $\\Pr(Y=1)$ between different groups and how this disparity changes subject to a sequence of Bayes-optimal classifiers repeatedly retrained on the global population. We model the evolving qualification rates of each subpopulation (group) using the replicator equation, which derives from a class of imitation processes. We show that differences in qualification rates between subpopulations can persist indefinitely for a set of non-trivial equilibrium states due to uniformed classifier deployments, even when groups are identical in all aspects except initial qualification densities. We next simulate the effects of commonly proposed fairness interventions on this dynamical system along with a new feedback control mechanism capable of permanently eliminating group-level qualification rate disparities. We conclude by discussing the limitations of our model and findings and by outlining potential future work.

研究の動機と目的

• グループに根本的な構造的差がないにもかかわらず、ベイズ最適でグループに依存しない機械学習分類器のもとで、グループレベルの資格率格差がどのように持続するかをモデル化すること。
• 分類器の展開が、孤立したサブグループ内での集団レベルの戦略採用と資格ダイナミクスに及ぼす長期的影響を調査すること。
• 公平性介入を、資格率格差の漸近的挙動を変化させることのできる動的制御ポリシーとして評価すること。
• リアルタイムのグループパフォーマンス指標に応じて、恒久的に格差を是正するフィードバック制御メカニズムを提案すること。
• 動的ポリシーのフィードバック下で、長期的な潜在変数の平等（資格率の平等）と現在のフェアネス目標の間に矛盾が生じることを示すことで、規範的フェアネス定義に挑戦すること。

提案手法

• 各グループを、実数値特徴 $X$ と、資格（例：ローン資格）を示す真のバイナリラベル $Y$ を持つ孤立したサブグループとしてモデル化し、$\Pr(X|Y)$ がグループに依存しないことを仮定する。
• 分類器が $X$ をもとにバイナリ予測 $\hat{Y}$ を出力するベイズ最適分類器を用い、これによりエージェントの資格戦略の採用が促進される。
• レプリケーター方程式を用いて、相対的成功に基づく模倣ダイナミクスを捉えることで、各グループ内での戦略採用の進化をモデル化する。
• 観察された資格率格差に応じて分類器行動を変更するフィードバック制御メカニズムを導入し、格差 $\delta(g,g+1)$ に比例する摂動項を用いる。
• さまざまな分類器の利得行列 $U$ および報酬構造 $V$ の下でシステムダイナミクスをシミュレートし、CoateとLoury（1993）およびZhangら（2020）の既存モデルと比較する。
• 導関数 $\frac{\partial}{\partial\phi}(W_1 - W_0)$ を用いて均衡状態を分析し、利得関数および報酬関数の構造のおかげで、格差が非ゼロであっても安定な均衡が存在することを示す。

実験結果

リサーチクエスチョン

• RQ1 グループが初期の資格率のみで異なる場合、ベイズ最適でグループに依存しない分類器のもとで、持続的グループレベルの資格率格差が生じ得るか？
• RQ2 反復的学習に基づく戦略採用ダイナミクス（レプリケーター方程式でモデル化）は、資格格差の長期的持続にどのように寄与するか？
• RQ3 特にフィードバックに基づく制御メカニズムを用いた公平性介入は、これらの格差を恒久的に解消できるか、その程度はいかほどか？
• RQ4 動的システムにおいて、規範的現時点フェアネス（例：等しい偽陽性・偽陰性率）と長期的フェアネス（資格率の漸近的平等）の関係は何か？
• RQ5 分類器の利得関数および報酬構造の変化は、資格率格差の安定性および収束性にどのように影響するか？

主な発見

• グループが初期の資格密度以外に同一であるにもかかわらず、レプリケーター方程式による戦略模倣のダイナミクスのおかげで、ベイズ最適でグループに依存しない分類器のもとでも、資格率格差が無期限に持続しうることを示す。
• 利得関数および報酬関数の構造のおかげで、分類器が最適かつグループに依存しない場合でも、非自明な均衡状態が存在し、格差が安定したまま維持されることを示す。
• 現在の格差 $\delta(g,g+1)$ に比例する摂動を適用することで、恒久的に格差を解消できるフィードバック制御メカニズムを提案し、是正の方向は $\frac{\partial}{\partial\phi}(W_1 - W_0)$ の符号によって決定される。
• フィードバックメカニズムにより、すべてのグループで $\Pr(Y=1)$ が等しくなるグローバル均衡にシステムが安定化され、長期的フェアネスが強制的に実現される。
• シミュレーションでは、標準的な公平性介入（例：損失関数の調整）は動的システムでは格差を解消できない可能性がある一方で、フィードバックベースの制御は効果的に是正できることを示す。
• 本モデルは、現時点フェアネス基準（例：等しい偽陽性率）が、長期的フェアネス（等しい資格率）を損なう要因となり得ることを示し、短期的と長期的フェアネス目標の間に根本的な対立があることを明らかにする。