[논문 리뷰] Fairness with Dynamics.

Min Wen, Osbert Bastani외 1명|arXiv (Cornell University)|2019. 01. 24.

Reinforcement Learning in Robotics참고 문헌 18인용 수 12

한 줄 요약

이 논문은 의사결정에서의 공정성 제약 조건이 피드백 효과를 간과할 경우 장기적으로 불공정성을 악화시킬 수 있는 위험을 다루며, 피드백 효과를 마르코프 결정 과정(MDPs)으로 모델링한다. 공정성 인지 MDP 알고리즘과 강화 학습 방법을 제안하여 시간에 따라 공정성을 유지하며, 시뮬레이션을 통해 동역학을 忽略할 경우 대출 승인 사례에서 불공정성이 증가함을 입증한다.

ABSTRACT

It has recently been shown that if feedback effects of decisions are ignored, then imposing fairness constraints such as demographic parity or equality of opportunity can actually exacerbate unfairness. We propose to address this challenge by modeling feedback effects as the dynamics of a Markov decision processes (MDPs). First, we define analogs of fairness properties that have been proposed for supervised learning. Second, we propose algorithms for learning fair decision-making policies for MDPs. We also explore extensions to reinforcement learning, where parts of the dynamical system are unknown and must be learned without violating fairness. Finally, we demonstrate the need to account for dynamical effects using simulations on a loan applicant MDP.

연구 동기 및 목표

• 정적 공정성 제약 조건이 피드백 효과를 간과할 경우 장기적으로 불공정성을 악화시킬 수 있는 위험을 해결하기 위해.
• 마르코프 결정 과정(MDPs) 프레임워크 내에서 인구 통계적 평등성과 기회 평등성과 같은 공정성 성질을 형식화하기 위해.
• 장기적 피드백 역학을 고려하는 MDP에서 공정한 의사결정 정책을 학습하는 알고리즘을 개발하기 위해.
• 환경의 일부가 알려져 있지 않아 학습이 필요하며, 공정성을 위반하지 않도록 하는 강화 학습 환경으로 접근을 확장하기 위해.
• 역학을 모델링할 필요성을 시뮬레이션을 통해 검증하기 위해, 다양한 공정성 및 피드백 가정 하에 대출 승인 과정을 시뮬레이션한다.

제안 방법

• 시간에 따라 변하는 상태 및 행동 분포에 적응하기 위해, 정적 공정성 제약 조건—인구 통계적 평등성과 기회 평등성—을 MDP 내 동적 성질로 형식화한다.
• 장기적 공정성을 최적화하면서도 의사결정 품질을 유지하는 MDP 정책 학습 알고리즘을 개발하며, 제약 조건이 있는 최적화 기법을 사용한다.
• Q-학습 또는 정책 기반 강화 학습 방법을 수정하여 불공정한 상태-행동 전이를 페널티 처리함으로써 공정성 제약 조건을 강화 학습에 통합한다.
• 결정과 상태 진화 사이의 피드백 루프를 확률적 전이 과정으로 모델링하며, 결정이 향후 상태 분포와 공정성 지표에 영향을 미친다.
• 동적 제약 조건 하에서 공정한 정책을 계산하기 위해 값 반복 또는 정책 반복의 확장 기법을 사용하며, 여러 의사결정 단계에 걸쳐 공정성이 유지됨을 보장한다.
• 피드백 역학을 포함한 대출 승인 MDP를 시뮬레이션하여, 정적 공정성 제약 조건과 동적 공정성 인지 정책 간의 결과를 비교한다.

실험 결과

연구 질문

• RQ1 정적 지도 학습을 위한 공정성 제약 조건이 시간에 따른 피드백 효과를 간과할 경우, 장기적으로 불공정성을 증가시킬 수 있는가?
• RQ2 인구 통계적 평등성과 기회 평등성과 같은 공정성 성질을 MDP로 모델링한 동적 의사결정 환경에 어떻게 적응시킬 수 있는가?
• RQ3 장기적 피드백 영향을 고려하면서 MDP에서 공정한 정책을 학습할 수 있는 알고리즘적 접근은 무엇인가?
• RQ4 환경 역학이 부분적으로 알려져 있지 않은 강화 학습 환경에서, 공정성 인지 정책의 성능은 정적 공정성 제약 조건과 비교해 어떻게 되는가?
• RQ5 공정한 의사결정 시스템에서 피드백 역학을 忽略할 경우의 장기적 영향은 무엇인가?

주요 결과

• 피드백 효과를 공정성 제약 조건에서 忽略할 경우, 초깃값이 공정하더라도 시간이 지남에 따라 불공정성이 크게 증가한다.
• 제안된 동적 공정성 프레임워크는 대출 승인 MDP 시뮬레이션에서 여러 의사결정 단계에 걸쳐 공정성 지표를 성공적으로 유지한다.
• 공정성 인지 MDP 정책은 장기적으로 인구 통계적 평등성과 기회 평등성을 유지하는 데 정적 공정성 제약 조건보다 뛰어난 성능을 보인다.
• 환경 역학이 부분적으로 알려져 있지 않은 상황에서 강화 학습 확장 기법은 공정성을 학습 과정 내내 유지한다.
• 시뮬레이션 결과, 피드백 루프는 명시적으로 모델링되고 제약되지 않으면 초기 격차를 악화시킬 수 있음을 보여준다.
• 동적 접근은 결정이 장기적인 사회적 영향을 고려하지 않을 경우 발생하는 공정성의 약화를 방지한다.