[논문 리뷰] Survey on Fair Reinforcement Learning: Theory and Practice

Pratik Gajane, Akrati Saxena외 3명|arXiv (Cornell University)|2022. 05. 20.

Ecosystem dynamics and resilience인용 수 8

한 줄 요약

이 종합적 서베이는 강화학습(RL)에서의 공정성에 대해 이론적 기초, 실용적 응용, 그리고 편향 보정, 집단 대 개인 공정성, 설명 가능성과 같은 주요 과제를 포함하여 종합적인 개요를 제공한다. 단일 에이전트, 다중 에이전트, 장기적, 오프라인 RL 환경에서의 기존 연구를 통합하여 연구자들과 실무자들이 이론적 보장과 경험적 통찰을 바탕으로 공정한-RL을 발전시킬 수 있도록 통합된 참고자료를 제공한다.

ABSTRACT

Fairness-aware learning aims at satisfying various fairness constraints in addition to the usual performance criteria via data-driven machine learning techniques. Most of the research in fairness-aware learning employs the setting of fair-supervised learning. However, many dynamic real-world applications can be better modeled using sequential decision-making problems and fair reinforcement learning provides a more suitable alternative for addressing these problems. In this article, we provide an extensive overview of fairness approaches that have been implemented via a reinforcement learning (RL) framework. We discuss various practical applications in which RL methods have been applied to achieve a fair solution with high accuracy. We further include various facets of the theory of fair reinforcement learning, organizing them into single-agent RL, multi-agent RL, long-term fairness via RL, and offline learning. Moreover, we highlight a few major issues to explore in order to advance the field of fair-RL, namely - i) correcting societal biases, ii) feasibility of group fairness or individual fairness, and iii) explainability in RL. Our work is beneficial for both researchers and practitioners as we discuss articles providing mathematical guarantees as well as articles with empirical studies on real-world problems.

연구 동기 및 목표

• 단일 에이전트, 다중 에이전트, 장기적, 오프라인 RL 환경에서 공정성 인식 강화학습(fair-RL)에 대한 체계적인 리뷰를 제공하기 위해.
• 채용, 추천 시스템, 자원 할당과 같은 분야에서 fair-RL의 실용적 응용을 분석하기 위해.
• 사회적 편향 보정, 집단 공정성 대 개인 공정성의 실현 가능성, 설명 가능성과 같은 fair-RL의 핵심 과제를 특정하고 논의하기 위해.
• 이론적 보장과 경험적 연구를 연결하여 연구자들과 실무자들이 fair-RL을 발전시키는 데 지원하기 위해.
• 공정성, 투명성, 확장성 측면에서 남아 있는 문제점과 향후 연구 방향을 강조하기 위해.

제안 방법

• fair-RL 접근 방식을 네 가지 핵심 설정으로 분류함: 단일 에이전트 RL, 다중 에이전트 RL, RL에 의한 장기적 공정성, 오프라인 RL.
• 집단 공정성(예: 인구 통계적 평등, 동일 기회)과 개인 공정성(예: 유사성 기반 처리)과 같은 공정성 정의를 검토하고, 이들의 이론적 및 실용적 트레이드오프를 분석함.
• 공정성 기준을 충족하기 위해 RL 목표에 통합된 공정성 제약 조건을 검토함: 제약 최적화 및 보상 형상 조정과 같은 방법.
• RL에서의 설명 가능성 기법을 조사함: 후행적 설명 모델(예: LMUTs), 해석 가능한 정책 표현(예: PIRL), 그리고 반사적 설명(예: counterfactual explanations).
• 공정성 정규화된 RL 알고리즘을 경험적 연구와 이론적 분석을 통해 평가함으로써 성능과 공정성의 균형을 강조함.
• 전통적인 지도학습과 공정성 인식 강화학습을 비교함으로써 정적 결정의 한계를 부각하고, 장기적 편향 완화에 있어 순차적 의사결정의 이점을 강조함.

실험 결과

연구 질문

• RQ1 다양한 RL 환경에서 공정성이 어떻게 효과적으로 형식화되고 강화학습 프레임워크에 통합될 수 있는가?
• RQ2 RL에서 집단 공정성과 개인 공정성 간의 트레이드오프는 무엇이며, 어떻게 조율될 수 있는가?
• RQ3 RL의 순차적 의사결정 다이내믹스는 장기적 공정성과 편향 행동의 발생에 어떻게 영향을 미치는가?
• RQ4 공정성에 민감한 응용 분야에서 RL 에이전트 행동을 설명하기 위해 가장 효과적인 방법은 무엇인가?
• RQ5 사회적 편향 보정과 공정한-RL 시스템의 확장성 확보에 있어 핵심 과제는 무엇인가?

주요 결과

• 강화학습은 동적 탐색과 이용의 균형을 통해 공정성을 유지하면서도, 후보자 질 향상과 채용 소요 시간 단축을 통해 지도학습보다 채용 시나리오에서 뛰어난 성능을 보인다.
• 집단 공정성 측정법(예: 인구 통계적 평등, 동일 기회)은 공정성의 지리학적 조작(gerrymandering)에 취약하며, 보호받는 속성이 다수일 경우 잘 확장되지 않는다.
• 개인 공정성은 이론적으로 매력적이지만, 편향된 유사성 측정법과 임무 관련 특징 기반의 비순환적 정의 부족으로 인해 도전 과제를 안고 있다.
• RL의 설명 가능성은 여전히 개발이 부족한 편이며, 후행적 및 내재적 설명 기법의 발전에도 불구하고 많은 방법들이 사용자 요구나 대상 청중의 기대와 일치하지 못한다.
• 집단 공정성과 개인 공정성 간의 갈등은 본질적으로 존재하지 않으며, 공정성 측정법의 날카로운 적용에서 비롯되므로 하이브리드 접근 방식이 갈등을 해결할 수 있다.
• 훈련 단계에서 공정성 제약 조건을 통합한 fair-RL 방법은 후행 보정보다 장기적으로 더 나은 공정성 결과를 보이며, 피드백 루프가 존재하는 동적 환경에서 尤히 그렇다.