[논문 리뷰] Decentralized Reinforcement Learning: Global Decision-Making via Local Economic Transactions

Michael Chang, Sidhant Kaushik외 3명|arXiv (Cornell University)|2020. 07. 05.

Reinforcement Learning in Robotics참고 문헌 29인용 수 7

한 줄 요약

이 논문은 각각의 전담이며 자기 이익을 추구하는 에이전트들이 국소적인 경제 거래—특히 진정성 입찰을 보장하는 비크리프 경매(Vickrey 경매)를 통해 분산된 강화학습 프레임워크를 제안한다. 이는 전역 최적화를 위한 개인의 인centive를 일치시키는 방식이다. 주요 기여는 복제된 비크리프 사회를 제안하는 것으로, 지역적 경매 유용성 최적화를 통해 에이전트의 내쉬 균형이 전역 마르코프 결정 과정(MDP)의 최적 정책과 정확히 일치함을 보장한다. 이는 샘플 효율적이고 모듈러한 학습을 가능하게 하며, 전이 성능도 뛰어나다.

ABSTRACT

This paper seeks to establish a framework for directing a society of simple, specialized, self-interested agents to solve what traditionally are posed as monolithic single-agent sequential decision problems. What makes it challenging to use a decentralized approach to collectively optimize a central objective is the difficulty in characterizing the equilibrium strategy profile of non-cooperative games. To overcome this challenge, we design a mechanism for defining the learning environment of each agent for which we know that the optimal solution for the global objective coincides with a Nash equilibrium strategy profile of the agents optimizing their own local objectives. The society functions as an economy of agents that learn the credit assignment process itself by buying and selling to each other the right to operate on the environment state. We derive a class of decentralized reinforcement learning algorithms that are broadly applicable not only to standard reinforcement learning but also for selecting options in semi-MDPs and dynamically composing computation graphs. Lastly, we demonstrate the potential advantages of a society's inherent modular structure for more efficient transfer learning.

연구 동기 및 목표

• 단일 에이전트 강화학습 과제로 일반적으로 설정되는 통합된 순차적 결정 문제를 해결하기 위해, 분산된 자기 이익을 추구하는 에이전트들이 중심화된 조율 없이 국소적인 경제 거래를 통해 공동으로 문제를 해결하는 데 도전하는 것.
• 비협력 게임에서 내쉬 균형을 계산하는 데 계산적으로 비현실적인 문제를 해결하기 위해, 최적의 전역 행동이 국소 유용성 최적화의 내쉬 균형으로 나타나는 메커니즘을 설계하는 것.
• 경제적 거래를 통한 국소적 책임 할당을 통해 전역 정책을 학습하는 분산 강화학습 알고리즘의 클래스를 개발하여, 표준 MDP를 넘어서 보다 넓은 적용 범위를 확보하는 것.
• 이 프레임워크가 전이 학습에서의 이점을 입증하여, 단일 모델 기반 베이스라인에 비해 더 빠른 적응과 더 모듈러한 가중치 업데이트를 보여주는 것.
• 이 프레임워크를 계층적 결정 문제와 동적 계산 그래프 조합으로 확장하여, 다양한 학습 과제에서의 일반성 검증을 수행하는 것.

제안 방법

• 에이전트들은 환경의 각 상태에서 밀봉 입찰 방식의 비크리프 경매에 입찰하여 다음 동작을 수행할 자를 결정하며, 승자는 상태 전이 결과에 따라 보상을 받는다.
• 복제된 비크리프 사회는 각 기본 에이전트의 중복 복제본을 사용하여 시장 동역학을 안정화하고, 비최적 균형이나 사기적 버블을 방지한다.
• 이 메커니즘은 정직한 입찰가가 지배 전략이 되며, 국소 유용성 최적화의 내쉬 균형이 MDP에 대한 정확한 최적 전역 정책과 일치함을 보장한다.
• 각 에이전트가 자신의 국소 경매 유용성을 학습하는 분산 강화학습 알고리즘이 도출되며, 이는 거래를 통한 책임 할당을 통해 간접적으로 전역 목표를 최적화한다.
• 옵션을 경매 시스템 내의 에이전트로 간주함으로써, 이 프레임워크는 준-MDP(semi-MDP)로 확장되며, 함수 조합을 순차적 거래로 모델링함으로써 동적 계산 그래프로도 확장된다.
• 신용 절약형 비크리프 구현은 불필요한 신용 재할당을 최소화함으로써 학습 안정성과 성능을 향상시키는 특정 구현체로 제안된다.

실험 결과

연구 질문

• RQ1 자기 이익을 추구하는 전담 에이전트들로 구성된 사회가 중심화된 조율 없이 국소적인 경제 거래를 통해 전역 순차적 결정 문제를 공동으로 해결할 수 있는가?
• RQ2 어떤 경매 메커니즘이 개인 에이전트의 내쉬 균형이 정확히 전역 MDP의 최적 정책과 일치하는가?
• RQ3 국소 경매를 통한 분산된 책임 할당이 통합된 강화학습의 전역 책임 할당에 비해 샘플 효율성과 전이 학습 성능 측면에서 어떻게 비교되는가?
• RQ4 이 프레임워크는 계층적 결정 문제(예: 준-MDP의 옵션)와 동적 계산 그래프 조합으로 일반화될 수 있는가?
• RQ5 이 사회의 모듈러하고 거래 기반의 구조는 통합 아키텍처에 비해 더 더 많은 병렬 처리와 전이 가능성 있는 학습을 이끌어내는가?

주요 결과

• 복제된 비크리프 사회는 비크리프 경매 메커니즘이 정직하고 효율적이므로, 국소 경매 유용성 최적화를 통해 에이전트의 내쉬 균형이 정확히 전역 MDP의 최적 정책과 일치함을 보장한다.
• Two Rooms 환경에서 복제된 비크리프 사회는 계층적 단일 PPO 기반 모델에 비해 전이 과제에 더 빠르게 적응했으며, 더 적고 작은 가중치 이동을 보였고, 이는 더 높은 모듈성과 병렬성의 가능성을 시사한다.
• Mental Rotation 환경에서 사회는 평균 수익 0.933, 표준편차 0.014로 수렴하여 동적 계산 그래프 조합 과제에서 효과적인 학습을 보였다.
• 신용 절약형 비크리프 구현은 사회 전체 및 개별 에이전트 성능 모두에서 다른 변형들보다 뛰어나 성능 향상과 더불어 안정성 향상을 입증했다.
• 분산 프레임워크는 사전 훈련에서 샘플 효율성이 뛰어나고, 전이 학습도 더 빠르게 진행되어, 국소적 책임 할당이 전역 책임 할당보다 더 병렬적이고 독립적인 학습을 가능하게 한다는 가설을 지지한다.
• 실험 결과는 사회적 프레임워크의 모듈러한 구조가 전역 파rameter 결합도를 감소시켜, 통합 모델에 비해 더 효율적이고 확장 가능한 학습 동역학을 이끌어낸다는 것을 시사한다.