[논문 리뷰] Fairness in Learning-Based Sequential Decision Algorithms: A Survey

Xueru Zhang, Mingyan Liu|arXiv (Cornell University)|2020. 01. 14.

Explainable Artificial Intelligence (XAI)인용 수 4

한 줄 요약

이 종합 검토는 학습 기반 순차적 의사결정에서의 공정성에 대해 분석하며, 과거의 결정이 향후 데이터에 영향을 미치지 않는 설정과 영향을 미치는 설정을 구분한다. 이는 특히 의사결정이 개인의 행동을 변화시킬 경우, 공정성 개선 조치—특히 인구 집단 공정성 제약(예: 인구 균형)이 시간이 지남에 따라 표현 불균형을 악화시키고 특성 분포의 기울기를 악화시킬 수 있음을 보여준다.

ABSTRACT

Algorithmic fairness in decision-making has been studied extensively in static settings where one-shot decisions are made on tasks such as classification. However, in practice most decision-making processes are of a sequential nature, where decisions made in the past may have an impact on future data. This is particularly the case when decisions affect the individuals or users generating the data used for future decisions. In this survey, we review existing literature on the fairness of data-driven sequential decision-making. We will focus on two types of sequential decisions: (1) past decisions have no impact on the underlying user population and thus no impact on future data; (2) past decisions have an impact on the underlying user population and therefore the future data, which can then impact future decisions. In each case the impact of various fairness interventions on the underlying population is examined.

연구 동기 및 목표

• 결정이 향후 데이터에 영향을 미치는 순차적 의사결정 시스템에서 공정성 개선 조치의 장기적 영향을 분석하는 것.
• 두 가지 설정을 구분하는 것: (1) 결정이 향후 데이터에 영향을 미치지 않으며, (2) 결정이 인구의 기저 분포를 변화시켜 향후 데이터 분포를 변화시키는 것.
• 예: 인구 균형, 동등한 오차 등 공정성 제약이 시간이 지남에 따라 집단의 표현과 특성 진화에 어떤 영향을 미치는지 조사하는 것.
• 결정과 인구 행동 간 피드백 루프로 인해 공정성 조치가 편향을 강화하거나 악화시킬 수 있는 위험을 부각하는 것.
• 피드백 기반 환경에서 공정성을 모델링하기 위한 강화학습 및 MDP 기반 프레임워크에 대한 체계적인 검토 제공

제안 방법

• 상태에 개인의 특성과 민감한 속성이 포함된 마르코프 결정 과정(MDPs)을 사용하여 순차적 의사결정을 모델링한다.
• 결정이 특성 분포에 영향을 주는 두 가지 시나리오를 도입한다: (1) 인지된 손실로 인해 집단 비율이 변화하며, (2) 열악한 집단 소속 개인이 손실을 줄이기 위해 행동을 적응시켜 특성 분포를 변화시킨다.
• 시간에 따라 변화하는 특성 분포 하에서 인구 균형(DP) 및 동등한 오차(EqOpt)와 같은 공정성 제약을 분석한다.
• 수학적 모델링을 통해 결정 피드백으로 인해 특성 분포가 변화할 경우, 공정성 개선 조치가 표현 불균형을 가속화할 수 있음을 보여준다.
• jabbari2017fairness와 wen2019fairness에서 제안한 강화학습 프레임워크를 적용하여 장기 보상 공정성 및 집단 공정성 제약을 통합한다.
• 학습 수렴에 대한 공정성의 영향을 평가하여, 엄격한 공정성 요구사항이 near-optimality에 도달하는 데 소요되는 시간을 증가시킨다는 것을 보여준다.

실험 결과

연구 질문

• RQ1 결정이 향후 데이터에 영향을 미치는 순차적 의사결정에서 공정성 조치가 장기적으로 집단 표현 불균형에 어떤 영향을 미치는가?
• RQ2 반복적인 불공정한 결정에 대응해 행동을 적응시키는 개인들이 속한 열악한 집단의 특성 분포는 어떻게 변화하는가?
• RQ3 인구 균형 또는 동등한 오차와 같은 공정성 제약이 피드백 기반 시스템에서 장기적으로 편향을 악화시킬 수 있는가?
• RQ4 의사결정과 인구 행동 간의 상호작용이 어떻게 편향을 강화하거나 증폭시키는 피드백 루프를 생성하는가?
• RQ5 특성 분포가 시간이 지남에 따라 변화하는 상황에서 공정성 인식 강화학습 알고리즘이 성능과 공정성 결과 측면에서 어떻게 다를 수 있는가?

주요 결과

• 결정이 기저 인구에 영향을 미치는 경우, 인구 균형(DP) 및 동등한 오차(EqOpt)와 같은 공정성 조치는 시간이 지남에 따라 표현 불균형을 악화시킬 수 있다.
• 열악한 집단 소속 개인이 결정과 관련된 손실을 줄이기 위해 행동을 적응시키면, 그들의 특성 분포가 불리하게 기울어져 오히려 불리한 위치를 가속화할 수 있다.
• 결정의 피드백과 변화하는 특성 분포의 조합은 특히 집단 공정성 제약 하에서 편향을 증폭시키는 피드백 루프를 만들어낸다.
• 공정성 제약이 적용된 경우에도, 공정성 요구사항이 엄격할수록 강화학습 프레임워크에서 near-optimality에 도달하는 데 소요되는 시간이 크게 증가한다.
• 결정이 집단 비율이나 특성 분포를 변화시키는 설정에서는, 정적 분포를 가정하는 공정성 조치가 장기적 불평등을 방지하는 데 실패할 수 있다.
• 이 연구는 정적 공정성 정의만으로는 순차적 시스템에서의 공정성을 확보할 수 없으며, 인구 피드백의 동적 모델링이 필수적임을 입증한다.