[논문 리뷰] Learning Fair Policies in Multiobjective (Deep) Reinforcement Learning with Average and Discounted Rewards

Umer Siddique, Paul Weng외 1명|arXiv (Cornell University)|2020. 08. 18.

Reinforcement Learning in Robotics인용 수 13

한 줄 요약

이 논문은 할인 보상과 평균 보상 양쪽에 대해 일반화된 지니 공정성 함수를 최적화하여 다목적 강화학습에서 공정한 정책을 학습하는 새로운 프레임워크를 제안한다. 이는 할인 보상 알고리즘을 사용하여 평균 보상 공정 정책을 근사할 수 있음을 이론적으로 정당화하며, PPO와 A2C를 공정성에 맞게 수정하고, 다중 에이전트 및 연속 제어 환경에서 GGF 정규화된 에이전트가 표준 강화학습 대비 유의미하게 높은 공정성(낮은 CV, 높은 최소 대역폭)을 달성한다는 것을 실험적으로 검증한다.

ABSTRACT

As the operations of autonomous systems generally affect simultaneously several users, it is crucial that their designs account for fairness considerations. In contrast to standard (deep) reinforcement learning (RL), we investigate the problem of learning a policy that treats its users equitably. In this paper, we formulate this novel RL problem, in which an objective function, which encodes a notion of fairness that we formally define, is optimized. For this problem, we provide a theoretical discussion where we examine the case of discounted rewards and that of average rewards. During this analysis, we notably derive a new result in the standard RL setting, which is of independent interest: it states a novel bound on the approximation error with respect to the optimal average reward of that of a policy optimal for the discounted reward. Since learning with discounted rewards is generally easier, this discussion further justifies finding a fair policy for the average reward by learning a fair policy for the discounted reward. Thus, we describe how several classic deep RL algorithms can be adapted to our fair optimization problem, and we validate our approach with extensive experiments in three different domains.

연구 동기 및 목표

• 동시 다수의 사용자에게 영향을 미치는 자율 시스템에서의 공정성에 대한 핵심적 필요성을 해결하기 위해.
• 일반화된 지니 사회 복지 함수를 사용해 효율성, 공정성, 평등성을 균형 잡는 '강화학습에서의 공정 최적화' 문제를 체계화하기 위해.
• 할인 보상과 평균 보상 설정 사이의 격차를 메우기 위해 새로운 근사 오차 경계를 유도하기 위해.
• 대규모 및 연속 상태 MDP에서 공정한 정책 학습을 위한 딥 강화학습 알고리즘(PPO, A2C)을 적응시키기 위해.
• GGF 정규화된 에이전트가 세 영역 전반에서 표준 강화학습 및 가중치 합 기반 대비 공정성 지표에서 뛰어난 성능을 보임을 실험적으로 검증하기 위해.

제안 방법

• 일반화된 지니 사회 복지 함수를 통해 공정성을 체계화하며, 이는 공정성, 효율성, 평등성을 모두 반영한다.
• 정적 마르코프 정책이 공정 최적성에 충분함을 증명하고, MDP 내 상태 기반 공정성을 분석한다.
• 할인 보상 최적 정책을 사용해 평균 보상 최적 정책을 근사할 때의 근사 오차에 대한 새로운 이론적 경계를 유도한다.
• 정책 목표에 일반화된 지니 함수를 정규화 항으로 통합하여 딥 강화학습 알고리즘(PPO, A2C)을 공정성 최적화에 맞게 수정한다.
• 이중 단계 학습 프로세스를 구현: 먼저 할인 수익률 기반으로 사전 학습한 후, GGF 목표를 사용해 공정성 향상을 위해 미세 조정한다.
• 세 가지 영역에서 접근법을 검증한다: 다중 에이전트 자원 할당, 다중 에이전트 주행, 연속 제어(DC 영역), GGF 점수와 대역폭 공정성 지표를 사용한다.

실험 결과

연구 질문

• RQ1 할인 보상 최적 정책이 평균 보상 최적 정책의 공정성 측면에서 얼마나 잘 근사할 수 있으며, 이 근사의 오차는 얼마나 좁게 경계될 수 있는가?
• RQ2 딥 강화학습 알고리즘이 이산 및 연속 MDP 모두에서 일반화된 지니 함수로 측정된 공정성을 최적화하도록 어떻게 적응시킬 수 있는가?
• RQ3 일반화된 지니 함수를 정규화 항으로 사용할 경우, 표준 가중치 합 또는 최소 최대 기반 대비 공정성(예: 낮은 CV, 높은 최소 효용)이 향상되는가?
• RQ4 고할인 인자(예: γ = 0.99999)에서도 GGF 정규화된 정책의 성능이 안정적인가? 이는 평균 보상 공정성에 수렴하는가를 시사하는가?
• RQ5 이 프레임워크를 사용해 연속 상태 및 연속 행동 환경에서 공정한 정책을 효과적으로 학습할 수 있는가?

주요 결과

• 제안된 GGF 정규화된 PPO와 A2C 에이전트는 대역폭 할당에서 표준 강화학습 대비 유의미하게 낮은 변동계수(CV)를 기록하여 공정성 향상을 확인했다.
• DC 연속 제어 영역에서 GGF-PPO는 표준 PPO 및 고정 정책 대비 GGF 점수에서 뛰어난 성능을 보였으며, CV는 30% 감소하고 최소 대역폭은 높아졌다.
• γ = 0.99와 γ = 0.99999 실험에서 GGF 성능이 거의 동일하여, 실질적으로 γ = 0.99만으로도 평균 보상 공정성을 효과적으로 근사할 수 있음을 시사한다.
• 할인 보상 최적 정책와 평균 보상 최적 정책 간 근사 오차에 대한 이론적 경계는 별도의 관심사이며, 할인 강화학습을 공정 정책 학습에 사용하는 데 이론적 근거를 제공한다.
• 일반화된 지니 함수 정규화 학습은 성능 저하 없이 일관되게 공정성을 향상시키며, 세 영역 전반에서 동등 가중치 합 기반 대비 뛰어난 성능을 보였다.