[논문 리뷰] Natural Actor-Critic Converges Globally for Hierarchical Linear Quadratic Regulator

Yuwei Luo, Zhuoran Yang외 2명|arXiv (Cornell University)|2019. 12. 14.

Reinforcement Learning in Robotics참고 문헌 57인용 수 8

한 줄 요약

이 논문은 부분적 교환 가능성 하에서 다중 에이전트 선형 제곱조절기(MARL)에 대해 계층적 자연 액터-크리틱 알고리즘을 제안하며, 에이전트 수에 관계없이 계산 복잡도가 일정한 모델-프리 학습을 가능하게 한다. 이는 이질적인 다중 에이전트 시스템에서 차원의 극복 문제를 해결하고 최적 정책으로의 전역 선형 수렴을 확립한다.

ABSTRACT

Multi-agent reinforcement learning has been successfully applied to a number of challenging problems. Despite these empirical successes, theoretical understanding of different algorithms is lacking, primarily due to the curse of dimensionality caused by the exponential growth of the state-action space with the number of agents. We study a fundamental problem of multi-agent linear quadratic regulator (LQR) in a setting where the agents are partially exchangeable. In this setting, we develop a hierarchical actor-critic algorithm, whose computational complexity is independent of the total number of agents, and prove its global linear convergence to the optimal policy. As LQRs are often used to approximate general dynamic systems, this paper provides an important step towards a better understanding of general hierarchical mean-field multi-agent reinforcement learning.

연구 동기 및 목표

• 에이전트가 완전히 교환 가능하지 않은 경우에도 고차원 상태-행동 공간에서 다중 에이전트 강화학습(MARL)의 과제를 해결한다.
• 계층적 하위집단 구조를 통해 부분적 교환 가능성을 활용하여 다중 에이전트 시스템에서 차원의 극복 문제를 극복한다.
• 각 하위집단 내 에이전트 수에 따라 복잡도가 변하지 않는 모델-프리이며 계산적으로 효율적인 액터-크리틱 알고리즘을 개발한다.
• 계층적 선형 제곱조절기의 맥락에서 제안된 알고리즘의 비점근적 전역 수렴 보장을 확립한다.
• 구조화된 이질적 에이전트 시스템에 자연 액터-크리틱 방법을 확장하여 계층적 평균장 다중 에이전트 강화학습(MARL)에 이론적 기반을 제공한다.

제안 방법

• 각 하위집단 내 에이전트가 대칭이므로, 부분적 교환 가능성에 기반해 다중 에이전트 LQR를 하위집단 수준의 제어 문제로 분해한다.
• 중앙화된 상태, 행동, 노이즈 변수를 사용하여 평균장 효과와 개별 에이전트 동역학을 분리하기 위해 각 하위집단에 보조 시스템을 정의한다.
• 크리틱이 평균장 동역학을 사용해 가치 함수를 추정하고, 액터가 자연 정책 기울기로 정책을 갱신하는 계층적 액터-크리틱 프레임워크를 구축한다.
• 블록 행렬 분해를 통해 하위집단 내(대각선) 및 하위집단 간(비대각선)의 시스템 동역학과 비용 행렬을 분리한다.
• 샘플 효율성과 수렴 안정성을 향상시키기 위해 피셔 정보 행렬 추정을 통한 자연 정책 기울기 갱신을 적용한다.
• 집합적 평균장 벡터와 블록 단위 시스템 행렬을 도입하여 하위집단 간의 집단적 에이전트 행동을 표현함으로써 확장 가능한 학습을 가능하게 한다.

실험 결과

연구 질문

• RQ1 모델-프리 액터-크리틱 알고리즘이 부분적 교환 가능성 하에서 계층적 다중 에이전트 LQR 시스템에서 전역 수렴을 달성할 수 있는가?
• RQ2 제안된 계층적 자연 액터-크리틱 알고리즘이 총 에이전트 수에 관계없이 계산 효율성을 유지하는가?
• RQ3 알고리즘이 수렴 보장을 유지하면서 하위집단 간 이질성을 어떻게 처리하는가?
• RQ4 다중 에이전트 LQR 맥락에서 계층적 액터-크리틱 알고리즘의 비점근적 수렴 속도는 무엇인가?
• RQ5 자연 정책 기울기 프레임워크는 증명 가능 전역 수렴을 보장하는 계층적 평균장 다중 에이전트 강화학습에 확장될 수 있는가?

주요 결과

• 제안된 계층적 자연 액터-크리틱 알고리즘은 부분적 교환 가능성 하에서 다중 에이전트 LQR 설정에서 최적 정책으로 전역 선형 수렴을 달성한다.
• 알고리즘의 계산 복잡도는 각 하위집단 내 에이전트 수에 영향을 받지 않으며, 차원의 극복 문제를 효과적으로 해결한다.
• 수렴 속도는 점근적이지 않고 선형이므로, 적절한 조건 하에서 반복 횟수에 따라 오차가 지수적으로 감소한다.
• 평균장 근사법을 사용해 시스템을 하위집단 수준의 문제로 성공적으로 분리함으로써 이질적 에이전트 시스템에서 확장 가능한 학습을 가능하게 한다.
• 이론적 분석은 자연 정책 기울기 갱신이 고차원 설정에서도 안정적이고 효율적인 정책 개선을 보장함을 확인한다.
• 다양한 평균장과 이질적 하위집단을 허용함으로써 평균장 다중 에이전트 강화학습을 일반화하여 교통 제어 및 다중 유닛 로봇과 같은 실제 시스템에 적용 범위를 넓힌다.