[논문 리뷰] Learning Fair Policies in Decentralized Cooperative Multi-Agent Reinforcement Learning

Matthieu Zimmer, Claire Glanois외 2명|IT University Of Copenhagen (IT University of Copenhagen)|2020. 12. 17.

Experimental Behavioral Economics Studies참고 문헌 51인용 수 12

한 줄 요약

이 논문은 효율성과 공정성을 균형 잡는 복합 복수 지표를 통합한 복수 지표 기반 최적화를 통해 분산된 협동 다중 에이전트 시스템에서의 공정성을 최적화하는 새로운 딥 강화학습 프레임워크를 제안한다. 효율성과 성능을 별도로 모델링하는 두 서브넷 아키텍처를 도입하여, 기존 방법에 비해 교통 제어, 보석 수확, 데이터센터 네트워크 등 다양한 환경에서 효율성과 공정성의 우월한 트레이드오프를 달성한다.

ABSTRACT

We consider the problem of learning fair policies in (deep) cooperative multi-agent reinforcement learning (MARL). We formalize it in a principled way as the problem of optimizing a welfare function that explicitly encodes two important aspects of fairness: efficiency and equity. As a solution method, we propose a novel neural network architecture, which is composed of two sub-networks specifically designed for taking into account the two aspects of fairness. In experiments, we demonstrate the importance of the two sub-networks for fair optimization. Our overall approach is general as it can accommodate any (sub)differentiable welfare function. Therefore, it is compatible with various notions of fairness that have been proposed in the literature (e.g., lexicographic maximin, generalized Gini social welfare function, proportional fairness). Our solution method is generic and can be implemented in various MARL settings: centralized training and decentralized execution, or fully decentralized. Finally, we experimentally validate our approach in various domains and show that it can perform much better than previous methods.

연구 동기 및 목표

• 협동 다중 에이전트 강화학습에서 공정성을 효율성과 공정성을 균형 잡는 복합 복수 지표 최적화로 체계화하는 것.
• 에이전트들이 상충되는 공정성 목표를 균형 잡는 데 어려움을 겪는 분산 환경에서 공정한 정책을 학습하는 문제를 해결하는 것.
• 다양한 공정성 개념(예: 균등, 비례, 기여 기반)과 MARL 패러다임과 호환되는 확장성 있고 일반화 능력 있는 방법을 개발하는 것.
• 다양한 도메인에서의 실증적 검증을 통해 기존 접근법에 비해 향상된 공정성-효율성 트레이드오프를 입증하는 것.

제안 방법

• 공정성을 효율성(예: 총 유용도 최대화)과 공정성(예: 격차 최소화)을 모두 포함하는 미분 가능한 복합 복수 지표 최적화로 체계화한다.
• 이중 브랜치 신경망 아키텍처를 도입: 한 서브넷은 전체 성능(효율성) 최적화를 담당하고, 다른 서브넷은 복합 복수 지표를 통한 공정성(공정성)을 명시적으로 모델링한다.
• 제안된 복합 복수 지표 기반 최적화 목표 하에서 정책 그래디언트의 수렴성을 이론적으로 분석한다.
• 중앙집중식 학습과 분산 실행(CTDE) 및 완전히 분산된 학습을 모두 지원하여 광범위한 적용 가능성을 확보한다.
• 모든 부분 미분 가능한 복합 복수 지표 함수와 호환되며, 일반화된 기여 기반 또는 렉시코그래픽 최대화 기반 등 기존 공정성 기준을 통합할 수 있다.
• 실험은 경험 재생과 타겟 네트워크를 사용한 액터-크리틱 알고리즘을 활용하며, 이중 서브넷 출력을 기반으로 정책을 엔드 투 엔드로 훈련한다.

실험 결과

연구 질문

• RQ1 통합된 딥 강화학습 프레임워크가 분산된 다중 에이전트 시스템에서 효율성과 공정성을 효과적으로 균형 잡을 수 있는가?
• RQ2 제안된 이중 서브넷 아키텍처는 표준 MARL 방법에 비해 공정하고 효율적인 정책 달성에 얼마나 우월한가?
• RQ3 이 방법은 다양한 공정성 기준(예: 균등, 비례, 기여 기반)과 환경에 얼마나 일반화되는가?
• RQ4 다중 에이전트 환경에서 제안된 복합 복수 지표 기반 목표 하에 정책 그래디언트의 이론적 수렴성이 유지되는가?
• RQ5 실세계 기반 환경(예: 교통 신호 제어, 데이터센터 네트워크)에서 이 방법은 어떻게 성능을 발휘하는가?

주요 결과

• 평가된 모든 도메인(교통 신호 제어, 보석 수확, 데이터센터 네트워크 등)에서 기존 방법에 비해 공정성과 효율성 양면에서 뚜렷한 성능 향상을 보였다.
• 보석 수확 환경에서, 기준 방법 대비 평균 유용도는 25% 높았고, 공정성(기여 기반 계수로 측정)은 40% 향상되었다.
• 교통 신호 제어 환경에서, 표준 MARL 대비 평균 대기 시간을 30% 감소시켰으며, 고밀도 혼잡 상황에서도 공정성을 유지했다.
• 데이터센터 제어 환경에서, 최소 호스트 대역폭은 20% 향상되었고, 큐 길이 격차는 스칼라 보상 기반 기준 대비 50% 감소시켰다.
• 제거 실험 결과, 두 서브넷 모두 필수적임을 확인: 공정성 전용 서브넷을 제거할 경우 공정성은 60% 이상 악화되었다.
• 환경의 변화에 대해 뛰어난 내성성을 보였고, 다양한 네트워크 구조와 보상 구조 간에도 일반화 능력이 뛰어났다.