[논문 리뷰] Learning Fairness in Multi-Agent Systems

Jiechuan Jiang, Zongqing Lu|arXiv (Cornell University)|2019. 10. 31.

Experimental Behavioral Economics Studies인용 수 13

한 줄 요약

이 논문은 제어기-하위정책 아키텍처를 통해 다중 에이전트 시스템이 공정성과 효율성을 동시에 학습할 수 있도록 하는 계층적 강화학습 프레임워크인 FEN을 제안한다. 각 에이전트별로 공정성을 분해하고 정보이론적 탐색을 갖춘 공정-효율 보상 함수를 사용함으로써, FEN은 분산 다중 에이전트 환경에서 파레토 효율성과 공정성을 달성하며, 자원 활용률이 최대 82%이고 CV가 0.10인 일자리 스케줄링, 매ทธ류 효과, 제조 시나리오에서 기존 기준보다 뛰어난 성능을 보였다.

ABSTRACT

Fairness is essential for human society, contributing to stability and productivity. Similarly, fairness is also the key for many multi-agent systems. Taking fairness into multi-agent learning could help multi-agent systems become both efficient and stable. However, learning efficiency and fairness simultaneously is a complex, multi-objective, joint-policy optimization. To tackle these difficulties, we propose FEN, a novel hierarchical reinforcement learning model. We first decompose fairness for each agent and propose fair-efficient reward that each agent learns its own policy to optimize. To avoid multi-objective conflict, we design a hierarchy consisting of a controller and several sub-policies, where the controller maximizes the fair-efficient reward by switching among the sub-policies that provides diverse behaviors to interact with the environment. FEN can be trained in a fully decentralized way, making it easy to be deployed in real-world applications. Empirically, we show that FEN easily learns both fairness and efficiency and significantly outperforms baselines in a variety of multi-agent scenarios.

연구 동기 및 목표

• 공정성과 효율성을 동시에 최적화하는 데 있어 상충되는 목표들 간의 도전 과제를 해결하기 위해.
• 중앙 집중적 조율 없이도 에이전트가 공정하고 효율적인 정책을 학습할 수 있도록 분산형으로 확장 가능한 방법을 설계하기 위해.
• 수작업 또는 도메인 특화 공정성 메커니즘의 한계를 극복하기 위해 일반화 가능하고 학습 가능한 공정성 프레임워크를 도입하기 위해.
• 이론적 분석과 다양한 다중 에이전트 환경에서의 실증적 검증을 통해 공정성이 보장되도록 하기 위해.
• 다양한 하위정책을 갖춘 계층적 아키텍처가 단일 정책 또는 비계층적 접근에 비해 학습 안정성과 성능 향상에 기여하는지 입증하기 위해.

제안 방법

• FEN은 제어기와 다수의 하위정책을 갖는 계층적 아키텍처를 사용하며, 제어기는 공정-효율 보상을 최적화하기 위해 하위정책 간 전환을 수행한다.
• 각 에이전트는 환경 보상과 평균 공감 기반 공정성의 조합으로 구성된 개인화된 공정-효율 보상을 학습하여 정책 학습의 조율를 보장한다.
• 하나의 하위정책은 환경 보상을 최대화하도록 훈련되며, 나머지 하위정책들은 정보이론적 보상을 통해 다양한 공정성 증진 행동을 탐색하도록 이끈다.
• 평균 공감을 사용하여 에이전트 간 공정성 관련 정보를 완전히 분산된 방식으로 동기화함으로써, 국지적 학습과 글로벌 공정성 조율를 동시에 가능하게 한다.
• 제어기는 현재 상태와 보상 신호에 기반해 하위정책을 동적으로 전환함으로써 공정성과 효율성 간 최적의 트레이드오프를 위한 적응형 행동 선택을 가능하게 한다.
• 이 프레임워크는 완전히 분산되어 있으며, 국지적 관측과 통신만 필요로 하여 실세계 다중 에이전트 시스템에 쉽게 구현할 수 있다.

실험 결과

연구 질문

• RQ1 중앙 집중적 제어 없이도 계층적 강화학습 프레임워크가 다중 에이전트 시스템에서 공정성과 효율성을 효과적으로 균형 잡을 수 있는가?
• RQ2 정보이론적 탐색에 의해 이끄는 하위정책의 사용이 단일 정책 또는 무작위 정책에 비해 공정성 학습에 어떻게 향상되는가?
• RQ3 제안된 공정-효율 보상이 무한 수순 순차 결정 문제에서 파레토 효율성과 공정성을 모두 보장하는 데까지 어느 정도 기여하는가?
• RQ4 다양한 다중 에이전트 시나리오에서 FEN은 자원 활용률과 제품 수로 측정되는 효율성, 그리고 CV로 측정되는 공정성 측면에서 기존 방법보다 어떻게 비교되는가?
• RQ5 특히 제조 공장과 매ทธ류 효과 시나리오와 같은 복잡한 환경에서 계층적 설계가 학습 안정성과 성능에 기여하는 정도는 어떠한가?

주요 결과

• 제조 공장 시나리오에서 FEN은 자원 활용률 82%를 달성하여 다음으로 우수한 기준(34%)을 크게 앞서며 높은 효율성과 공정성을 입증했다.
• FEN은 CV 0.10을 기록하여 모든 방법 중에서 가장 낮은 수준이었으며, 기준들의 CV 값(0.26에서 0.63 사이)과 비교해 뛰어난 공정성을 보였다.
• FEN은 평균적으로 48개의 제품을 제조하여 다음으로 뛰어난 방법(23개)의 두 배 이상을 기록했으며, 이는 이질적인 에이전트 기여의 균형 잡힌 조율 능력을 입증한다.
• 제거 실험 결과 계층적 아키텍처를 제거하면 성능이 크게 떨어지며, FEN w/o Hierarchy는 자원 활용률 22%와 제품 수 15개에 머물러 계층의 핵심적 역할을 확인했다.
• 하위정책의 시각화 결과, 학습된 하위정책들이 군집을 피하고 서로 다른 영역에 걸쳐 행동을 분산시키며, 정보이론적 보상이 공정성 다양성을 증진시키는 데 효과적임을 확인했다.
• 제어기가 다양한 하위정책을 전환할 수 있는 능력 덕분에 FEN은 일자리 스케줄링과 매ทธ류 효과 시나리오를 포함한 동적이고 복잡한 환경에서도 높은 성능을 유지할 수 있었다.