[논문 리뷰] Algorithms for Fairness in Sequential Decision Making

Min Wen, Osbert Bastani외 1명|arXiv (Cornell University)|2019. 01. 24.

Economic Policies and Impacts인용 수 17

한 줄 요약

이 논문은 피드백 효과를 마코프 결정 과정(MDP)으로 모델링하여 순차적 환경에서 공정한 의사결정 정책을 학습하는 알고리즘을 제안한다. MDP 프레임워크 내에서 인구통계적 평등성과 기회균등성 등의 공정성 제약 조건을 도입하고, 역동성의 영향을 忽시할 경우 공정하지 못한 결과가 발생할 수 있음을 보여주며, 제안된 모델 기반 및 모델리스 알고리즘은 피드백 효과를 무시하거나 악성 동역학을 가정하는 기존 기준보다 더 나은 공정성-성능 트레이드오프를 달성한다.

ABSTRACT

It has recently been shown that if feedback effects of decisions are ignored, then imposing fairness constraints such as demographic parity or equality of opportunity can actually exacerbate unfairness. We propose to address this challenge by modeling feedback effects as Markov decision processes (MDPs). First, we propose analogs of fairness properties for the MDP setting. Second, we propose algorithms for learning fair decision-making policies for MDPs. Finally, we demonstrate the need to account for dynamical effects using simulations on a loan applicant MDP.

연구 동기 및 목표

• 피드백 효과를 忽시할 경우 순차적 의사결정에서 정적 학습의 공정성 제약 조건이 오히려 불공정성을 악화시킬 수 있다는 문제를 다루기 위해.
• 인구통계적 평등성과 기회균등성과 같은 공정성 정의를 동적 피드백이 존재하는 마코프 결정 과정(MDP) 설정으로 의미 있게 확장하기 위해.
• 상태 전이와 결정의 장기적 영향을 고려하여 공정한 정책을 학습하는 실용적인 알고리즘을 개발하기 위해.
• 실험적으로 피드백 동역학을 忽시할 경우, 공정성 제약 조건이 적용된 상태에서도 불공정한 정책이 유도됨을 보여주기 위해.

제안 방법

• 순차적 의사결정에서의 피드백 효과를 상태가 개인의 변화하는 특성과 행동(예: 대출 승인)을 나타내는 마코프 결정 과정(MDP)으로 모델링한다.
• MDP 전용 공정성 제약 조건을 도입: 인구통계적 평등성과 기회균등성으로, 시간이 지남에 따라 하위집단(예: 다数 대비 少數 집단) 간 평균 결과가 동일해지도록 정의한다.
• 유한한 상태/행동 공간과 분리성 가정(민감 속성이 시간에 따라 변화하지 않음) 하에서 최적성 보장을 갖는 모델 기반 알고리즘을 제안한다.
• 일반적인 MDP에 적용 가능한 최적성 보장이 없는 모델리스 알고리즘을 개발하여 보다 넓은 적용 가능성을 확보한다.
• 제약 조건이 있는 MDP 기법을 사용하여 공정성 제약 조건 하에서 정책을 최적화하며, 결정자 보상(예: 은행 이익)과 개인의 결과를 구분한다.
• 가장 악성인 상태 전이를 가정하는 보수적 기준과 피드백 효과가 없다고 가정하는 낙관적 기준을 설정하여 성능 비교를 수행한다.

실험 결과

연구 질문

• RQ1 피드백 효과를 忽시할 경우 순차적 의사결정에서 정적 학습의 공정성 제약 조건이 악화된 결과를 초래할 수 있는가?
• RQ2 인구통계적 평등성과 기회균등성과 같은 공정성 성질을 동적 상태 전이가 존재하는 MDP 프레임워크로 의미 있게 확장할 수 있는가?
• RQ3 피드백 효과를 고려하는 알고리즘과 이를 忽시하는 알고리즘 간의 성능 및 공정성 트레이드오프는 어떠한가?
• RQ4 모델 기반 및 모델리스 접근 방식이 MDP에서 공정한 정책을 학습하는 데 있어 최적성과 실용성 측면에서 어떻게 비교되는가?
• RQ5 역동성을 忽시할 경우 공정성에 어떤 영향을 미치며, 제약 위반 및 보상 손실 측면에서 어떻게 측정되는가?

주요 결과

• 피드백 효과를 忽시하는 낙관적 기준은 정적 학습을 모방하며, 인구통계적 평등성에 대해 0.14의 공정성 제약 위반을 기록하지만, 제안된 알고리즘의 0.10보다 훨씬 열 劣하다.
• 악성 동역학을 가정하는 보수적 기준은 완벽한 공정성(제약 값 0)을 달성하지만, 보상 손실이 심각하여 10.43에서 10.00으로 감소한다.
• 제안된 모델 기반 알고리즘은 인구통계적 평등성에 대해 0.10의 제약 위반을 기록하며, 10.40의 높은 보상을 유지하여 두 기준보다 공정성-보상 트레이드오프에서 뛰어난 성능을 보인다.
• 기회균등성에 대해서는 제안된 알고리즘이 0.10의 제약 위반을 기록하며, 낙관적 기준(0.11)과 유사한 수준의 공정성을 달성하지만, 민감 속성을 忽시하는 레이스 블라인드 정책(0.37)보다 훨씬 뛰어난 공정성을 확보한다.
• 레이스 블라인드 정책는 가장 높은 보상(10.43)을 기록하지만 공정성 제약 조건에서 빈약한 성능을 보이며, 이는 동적 환경에서 정적 공정성의 위험성을 드러낸다.
• 결과적으로 동역학을 고려하는 것이 필수적임을 입증한다: 피드백 동역학을 忽시할 경우, 공정성 제약 조건이 명시적으로 적용된 상태에서도 불공정한 정책이 도출된다.