[論文レビュー] On the Long-term Impact of Algorithmic Decision Policies: Effort Unfairness and Feature Segregation through Social Learning

Hoda Heidari, Vedant Nanda+1 more|arXiv (Cornell University)|Mar 4, 2019

Experimental Behavioral Economics Studies被引用数 26

ひとこと要約

本稿は、アルゴリズム意思決定政策の長期的社会的影響を分析するための、努力に基づく公平性フレームワークを提案する。個々の人が成果の良い社会的モデルを模倣することで自身の成果を向上させる仕組みをモデル化している。その結果、訓練時の公平性制約が時間経過とともに分離を増大させるという逆説的結果が得られ、割り当ての公平性と長期的公平性の間にはトレードオフがあることが明らかになった。

ABSTRACT

Most existing notions of algorithmic fairness are one-shot: they ensure some form of allocative equality at the time of decision making, but do not account for the adverse impact of the algorithmic decisions today on the long-term welfare and prosperity of certain segments of the population. We take a broader perspective on algorithmic fairness. We propose an effort-based measure of fairness and present a data-driven framework for characterizing the long-term impact of algorithmic policies on reshaping the underlying population. Motivated by the psychological literature on \emph{social learning} and the economic literature on equality of opportunity, we propose a micro-scale model of how individuals may respond to decision-making algorithms. We employ existing measures of segregation from sociology and economics to quantify the resulting macro-scale population-level change. Importantly, we observe that different models may shift the group-conditional distribution of qualifications in different directions. Our findings raise a number of important questions regarding the formalization of fairness for decision-making models.

研究の動機と目的

• アルゴリズム的意思決定の長期的社会的影響を無視する一時的公平性指標の限界を是正すること。
• 個々の人がアルゴリズムの結果に応じて成果の良い社会的モデルを模倣することで、資格分布に変化をもたらす仕組みをモデル化すること。
• 社会的指標としての分離と均等性を用いて、集団レベルでの構造的変化を定量化すること。
• 訓練時の公平性介入が、長期的に見れば公平な結果をもたらすのか、あるいは予期しない結果を引き起こすのかを調査すること。
• アルゴリズムフィードバックを通じて、異なる社会的グループを異なる資格へ誘導するナッジの倫理的・経済的影響を検討すること。

提案手法

• 経済学および心理学に根ざした、努力に基づく公平性指標を提案する。努力とは、社会的モデルの属性に合わせて資格を変更するためのコストを定義する。
• 社会的学習理論に基づき、個々の人が利益の増加が努力コストを上回る場合にのみ、社会的モデルを模倣するマイクロスケールの行動モデルを構築する。
• 可変特徴空間における焦点点を用いて近隣を定義し、模倣のダイナミクスをモデル化する。類似度は距離の指数関数的減衰で測定する。
• 結果の均等性を測るためのアトキンソン指数と、集団レベルの変化を評価するための分離指標（例：クラスタリング、集中化）を用いる。
• 訓練時にヘイダリら（2018）の公平性制約を適用し、その長期的影響が分離や努力による不公平性に与える影響を評価する。
• 時間経過に伴う集団レベルの進化を、グループごとの資格分布および結果分布の変化を追跡することでシミュレートする。

実験結果

リサーチクエスチョン

• RQ1 アルゴリズム的意思決定ポリシーは、社会的学習を通じて、時間経過に伴い社会的グループ間の資格分布にどのように再編をもたらすか？
• RQ2 訓練時の公平性制約は、長期的に分離や努力による不公平性をどれほど軽減または悪化させるか？
• RQ3 短期的な割り当ての平等性を改善する公平性介入が、長期的にはクラスタリングや集中化の増加といった悪影響をもたらす可能性は何か？
• RQ4 社会的モデルは資格獲得の変化をどのように駆動しているのか。特に、優位なグループと劣位なグループでその影響はどのように異なるか？
• RQ5 異なるグループを異なる資格へ誘導するナッジは、倫理的かつ経済的に許容可能か。また、このようなナッジをどのように防止または緩和できるか？

主な発見

• 訓練時の公平性制約は、公平性閾値τの値が大きい場合、長期的な分離を増大させる可能性がある。これは、初期のクラスタリングの改善が逆転する場合があることを示している。
• τが小さい場合、公平性制約はクラスタリング（分離）を減少させ、劣位な人々の良い結果を達成する人数を増やすことで効果を発揮するが、τが大きくなるとその効果は薄れたり、逆転する。
• 結果の分布の均等性は、さまざまな公平性制約に対して比較的安定している。これは、主な影響がクラスタリングや集中化にあり、全体の分布的平等性には影響しないことを示している。
• モデルは、有利な予測を受けた劣位グループの個人が社会的モデルとして機能し、他の人々が模倣を促す可能性があることを示している。特に、必要な資格が高コストである場合には、努力に基づく不公平性が増大する可能性がある。
• モデルの長期的影響は、保証された結果によるインcentiveの低下と、努力を促す役割モデル効果のバランスに依存する。このバランスはモデルや集団によって異なる。
• 研究結果は、アファーマティブ・アクション政策における混合された結果を反映しており、ポジティブな役割モデル効果と、努力に対する否定的インcentive効果の両方が観察される。これは文脈依存のトレードオフを強調している。