[논문 리뷰] Fairness in Reinforcement Learning

Paul Weng|arXiv (Cornell University)|2019. 07. 24.

Reinforcement Learning in Robotics참고 문헌 28인용 수 14

한 줄 요약

이 논문은 다수의 이해관계자가 영향을 받는 환경에서 복잡한 순차적 의사결정 문제에 공정성을 통합하기 위해 사회적 복지 함수—특히 일반화된 지니 지수(GGI: Generalized Gini Index)—를 사용하여 정책을 최적화하는 방법을 제안한다. 이는 평균 대기 시간과 공정성을 동시에 고려하는 DQN의 변형인 GGI-DQN을 통해 교차로 신호등 제어에 응용되며, 표준 DQN 대비 略로 높은 평균 지연 시간을 기록하지만, 8개의 차선 간 대기 시간 분포가 훨씬 더 공정하게 분포됨을 보여주어, GGI-DQN 접근법이 공정성을 크게 향상시키는 데 성공하였다.

ABSTRACT

Decision support systems (e.g., for ecological conservation) and autonomous systems (e.g., adaptive controllers in smart cities) start to be deployed in real applications. Although their operations often impact many users or stakeholders, no fairness consideration is generally taken into account in their design, which could lead to completely unfair outcomes for some users or stakeholders. To tackle this issue, we advocate for the use of social welfare functions that encode fairness and present this general novel problem in the context of (deep) reinforcement learning, although it could possibly be extended to other machine learning tasks.

연구 동기 및 목표

• 다수의 이해관계자가 영향을 받는 의사결정 지원 및 자율 시스템에서 공정성 고려가 부족한 문제를 해결하기 위해.
• 특히 강화학습에서 사회적 복지 함수를 활용하여 공정성을 통합한 새로운 프레임워크를 제안하기 위해.
• 파레토 최적화의 한계를 극복하기 위해 파레토 최적 해의 집합에서 단일의 공정한 해를 스칼라 복지 함수를 통해 선택하기 위해.
• 실제 순차적 의사결정 과제, 예를 들어 교통 신호 제어와 같은 과제에서 공정 최적화의 실현 가능성과 이점을 입증하기 위해.
• 효율성과 공정성을 사용자 간 균형을 이루는 공정 인식 목표를 갖춘 딥 강화학습을 확장하기 위해.

제안 방법

• 사용자/이해관계자의 유틸리티를 기반으로 공정성을 고려한 복지 함수를 최대화하는 비선형 볼록 최적화 문제로 공정한 순차적 의사결정을 수식화함.
• 낮은 유틸리티를 강조하기 위해 감소하는 가중치를 갖는 순서화된 유틸리티의 가중합으로 정의된 일반화된 지니 지수(GGI)를 공정성 인코딩 복지 함수로 사용함.
• 정책의 다목적 가치 함수에 GGI를 적용하여 원래의 강화학습 목표를 공정성을 증진시키는 스칼라이고 볼록한 함수로 변환함.
• 딥 Q-네트워크(DQN) 알고리즘을 GGI 목표 하에 최적 정책을 근사하도록 변형하여 딥 강화학습에서 엔드 투 엔드 학습을 가능하게 함.
• 학습 과정에서 이해관계자 간 유틸리티의 격차를 최소화하기 위해 손실 함수에 재가중 메커니즘을 도입함.
• GGI의 슈르-볼록성과 분해 가능성 특성을 활용하여 순차적 의사결정 과정에서 바람직한 최적화 성질을 유지함.

실험 결과

연구 질문

• RQ1 효율성에 손상을 주지 않으면서 강화학습에 공정성을 체계적으로 통합할 수 있는가?
• RQ2 지니 지수와 같은 단일 스칼라 복지 함수가 다수 이해관계자가 참여하는 환경에서 정책 학습을 공정한 결과로 이끄는 데 효과적인가?
• RQ3 교통 제어 시스템에서 평균 대기 시간을 최소화하는 것과 공정성을 확보하는 것 사이의 상충 관계는 어떠한가?
• RQ4 GGI 기반 목표는 순차적 의사결정 과제에서 표준 DQN 대비 공정성과 평균 성능 측면에서 어떻게 비교되는가?
• RQ5 기존의 딥 강화학습 알고리즘은 비선형 복지 함수를 통해 공정성을 최적화하기 위해 얼마나 수정될 수 있는가?

주요 결과

• GGI-DQN 접근법은 표준 DQN(420.72 timesteps) 대비 略로 높은 평균 대기 시간(427.05 timesteps)을 기록하여 효율성과 공정성 사이의 상충 관계를 확인함.
• 높은 평균 지연 시간에도 불구하고, GGI-DQN은 8개의 모든 차선에 걸쳐 대기 시간 분포가 훨씬 더 공정하게 분포됨을 입증함.
• 표준 DQN은 일부 차선이 다른 차선보다 상당히 더 긴 지연 시간을 경험함으로써 대기 시간에 큰 불균형을 보였음.
• 제안된 방법은 GGI의 가중치 메커니즘을 통해 낮은 유틸리티를 우선시함으로써 이해관계자 복지의 균형을 성공적으로 달성함.
• 결과적으로 GGI를 통한 공정성 인식 최적화가 딥 강화학습에 효과적으로 통합되어 복잡한 실제 환경에서도 공정한 결과를 도출할 수 있음을 입증함.
• 이 방법은 교통 제어를 넘어 다른 다중 에이전트 또는 다중 이해관계자 순차적 의사결정 문제로도 일반화 가능함.