[논문 리뷰] On the Long-term Impact of Algorithmic Decision Policies: Effort Unfairness and Feature Segregation through Social Learning

Hoda Heidari, Vedant Nanda외 1명|arXiv (Cornell University)|2019. 03. 04.

Experimental Behavioral Economics Studies인용 수 26

한 줄 요약

이 논문은 알고리즘 의사결정 정책의 장기적 사회적 영향을 분석하기 위해 노력 기반 공정성 프레임워크를 제안하며, 개인들이 성과가 뛰어난 사회적 모델을 모방함으로써 자신의 결과를 향상시키는 방식을 모델링한다. 연구 결과, 훈련 시점의 공정성 제약 조건이 장기적으로는 분리 상태를 증가시킬 수 있으며, 이는 할당 공정성과 장기적 형평성 간의 상충 관계를 드러낸다.

ABSTRACT

Most existing notions of algorithmic fairness are one-shot: they ensure some form of allocative equality at the time of decision making, but do not account for the adverse impact of the algorithmic decisions today on the long-term welfare and prosperity of certain segments of the population. We take a broader perspective on algorithmic fairness. We propose an effort-based measure of fairness and present a data-driven framework for characterizing the long-term impact of algorithmic policies on reshaping the underlying population. Motivated by the psychological literature on \emph{social learning} and the economic literature on equality of opportunity, we propose a micro-scale model of how individuals may respond to decision-making algorithms. We employ existing measures of segregation from sociology and economics to quantify the resulting macro-scale population-level change. Importantly, we observe that different models may shift the group-conditional distribution of qualifications in different directions. Our findings raise a number of important questions regarding the formalization of fairness for decision-making models.

연구 동기 및 목표

• 알고리즘 의사결정의 장기적 사회적 영향을 忽시하는 일회성 공정성 측정 방법의 한계를 해결하기 위해.
• 개인이 알고리즘 결과에 반응하여 성과가 뛰어난 사회적 모델을 모방함으로써 자격 분포가 어떻게 변화하는지 모델링하기 위해.
• 사회학적 분석 지표(예: 분리도, 균형도)를 사용하여 집단 수준의 인구 구조 변화를 정량화하기 위해.
• 훈련 시점의 공정성 간섭 조치가 장기적으로 공정한 결과를 이끌어내는지, 또는 예상치 못한 결과를 초래하는지 조사하기 위해.
• 알고리즘 피드백를 통해 서로 다른 사회 집단을 서로 다른 자격으로 유도하는 노드팅의 윤리적 및 경제적 영향을 탐색하기 위해.

제안 방법

• 경제학 및 심리학에 기반한 노력 기반 공정성 측정 방법을 제안하며, 노력은 사회 모델의 특성에 맞추기 위해 자격을 변경하는 데 드는 비용으로 정의된다.
• 사회학적 학습 이론에 기반해 개인이 이득 증가량이 노력 비용을 초과할 경우에만 사회 모델을 모방하는 미세 척도 행동 모델을 개발한다.
• 변경 가능한 특성 공간 내의 초점점을 활용해 이웃 관계를 정의하고, 유사도는 거리의 지수 감소 함수로 측정하여 모방 동역학을 모델링한다.
• 결과의 균형도를 측정하기 위해 애터킨슨 지수를 사용하고, 분리도(예: 군집화, 중심화)와 같은 지표를 활용해 집단 수준의 변화를 평가한다.
• 장기적 영향 평가를 위해 훈련 중에 Heidari 등(2018)의 공정성 제약 조건을 적용한다.
• 시간에 따라 집단 간 자격 분포 및 결과 분포의 변화를 추적함으로써 집단 수준의 진화를 시뮬레이션한다.

실험 결과

연구 질문

• RQ1 알고리즘 의사결정 정책은 사회 집단 간 자격 분포에 어떤 영향을 미치며, 사회적 학습을 통해 장기적으로 어떻게 변화시킬 수 있는가?
• RQ2 훈련 시점의 공정성 제약 조건이 장기적 분리도나 노력 기반 불공정성을 감소시키거나 악화시키는 정도는 어느 정도인가?
• RQ3 단기적 할당 공정성을 향상시키는 공정성 간섭 조치가 장기적으로는 군집화 또는 중심화 증가와 같은 악성 결과를 초래할 수 있는가?
• RQ4 사회 모델은 자격 확보 변화를 이끄는 데 어떤 역할을 하는가? 특히 유리한 집단과 열악한 집단 간에 그 영향은 어떻게 다를 수 있는가?
• RQ5 다른 집단을 서로 다른 자격으로 이끄는 노드팅은 윤리적·경제적으로 수용 가능한가? 이러한 노드팅은 어떻게 방지하거나 완화할 수 있는가?

주요 결과

• 훈련 시점의 공정성 제약 조건은 장기적으로 분리 상태를 증가시킬 수 있으며, 특히 공정성 임계값 τ의 값이 클수록 이 현상이 두드러진다. 이는 초기에 군집화가 개선되었으나 이후 반전되는 결과를 초래한다.
• 작은 τ 값에서는 공정성 제약 조건이 군집화(분리도)를 감소시켜 열악한 집단의 사람들이 더 좋은 결과를 얻는 데 기여하지만, τ 값이 증가함에 따라 이 효과는 약화되거나 반전된다.
• 결과 분포의 균형도는 다양한 공정성 제약 조건에서도 비교적 안정되어 있어, 주요 영향은 군집화 및 중심화에 있으며, 전체 분포 형평성에는 영향을 미치지 않는다는 것을 시사한다.
• 모델은 열악한 집단 소속 개인이 유리한 예측을 받을 경우 사회 모델이 될 수 있으며, 이는 다른 이들이 그들을 모방하도록 유도할 수 있다. 이 경우 자격 확보에 필요한 비용이 높을 경우 노력 기반 불공정성이 증가할 수 있다.
• 장기적 영향은 보상 감소(보장된 결과로 인한 동기 저하)와 역할 모델 효과(노력 유도) 간의 균형에 따라 달라지며, 이는 모델과 집단에 따라 다를 수 있다.
• 연구 결과는 긍정적인 역할 모델 효과와 부정적인 노력 감소 효과가 동시에 관찰되는 할당 우선 정책의 혼합된 결과와 유사하며, 이는 맥락에 따라 달라지는 상충 관계를 강조한다.