[논문 리뷰] Multiagent Rollout Algorithms and Reinforcement Learning

Dimitri P. Bertsekas|arXiv (Cornell University)|2019. 09. 30.

Reinforcement Learning in Robotics참고 문헌 7인용 수 23

한 줄 요약

이 논문은 다중 에이전트 스토케스티크 최적 제어 문제를 위한 에이전트별 롤아웃 알고리즘을 제안한다. 각 에이전트는 자신의 정책과 다른 에이전트로부터의 공유 정보를 사용해 독립적으로 국소 롤아웃 단계를 수행한다. 표준 롤아웃의 기본적인 비용 향상 성질을 유지하면서도, 에이전트 수에 대해 계산량을 지수적에서 선형으로 감소시켜, 유한 및 무한 수명 주기 문제에 대해 확장 가능하고 병렬 처리가 가능한 해법을 제공한다.

ABSTRACT

We consider finite and infinite horizon dynamic programming problems, where the control at each stage consists of several distinct decisions, each one made by one of several agents. We introduce an approach, whereby at every stage, each agent's decision is made by executing a local rollout algorithm that uses a base policy, together with some coordinating information from the other agents. The amount of local computation required at every stage by each agent is independent of the number of agents, while the amount of total computation (over all agents) grows linearly with the number of agents. By contrast, with the standard rollout algorithm, the amount of total computation grows exponentially with the number of agents. Despite the drastic reduction in required computation, we show that our algorithm has the fundamental cost improvement property of rollout: an improved performance relative to the base policy. We also discuss possibilities to improve further the method's computational efficiency through limited agent coordination and parallelization of the agents' computations. Finally, we explore related approximate policy iteration algorithms for infinite horizon problems, and we prove that the cost improvement property steers the algorithm towards convergence to an agent-by-agent optimal policy.

연구 동기 및 목표

• 에이전트 수가 증가함에 따라 제어 공간이 지수적으로 증가하는 다중 에이전트 시스템에서 표준 롤아웃의 계산 불가능성을 해결한다.
• 표준 롤아웃의 비용 향상 성질을 유지하면서도 단계별 계산량을 크게 감소시킨 확장 가능한 대체 방법을 개발한다.
• 에이전트 간 의사결정을 분리하면서도 공유 정보를 통한 협업을 유지함으로써, 다중 에이전트 동적 프로그래밍에서 효율적이고 병렬 처리 가능한 계산을 가능하게 한다.
• 에이전트별 정책 반복을 사용해 무한 수명 주기 문제로의 확장을 도모하며, 에이전트별 최적 정책로 수렴하는 것을 증명한다.
• 복잡도를 감소시킨 채로 신경망과 근사 기법을 다중 에이전트 강화학습에 통합할 수 있는 기반을 마련한다.

제안 방법

• 각 에이전트가 전체 제어 벡터의 구성 요소를 제어하는 다중 에이전트 문제 공식화를 도입하며, 개별 제어 집합과 상태에 의존하는 제약 조건을 포함한다.
• 에이전트별 롤아웃 알고리즘을 제안한다: 각 단계에서 각 에이전트는 자신의 정책과 다른 에이전트로부터의 협업 정보를 사용해 한 단계 앞서 내다보는 작업을 수행한다.
• 에이전트별 국소 Q-요인 계산을 사용한다: $ Q_{k,\text{loc}}(x_k, u_k^\nu) = \mathbb{E}\left[ g_k(x_k, u_k, w_k) + J_{k+1,\pi}(f_k(x_k, u_k, w_k)) \right] $, 이는 각 에이전트가 독립적으로 계산한다.
• 롤아웃 단계를 분리하여 각 에이전트의 결정이 자신의 제어와 다른 에이전트의 협업 신호에만 의존하도록 하여, 총 계산량을 에이전트 수에 대해 지수적에서 선형으로 감소시킨다.
• 유사한 최적화 값 반복과 국소 정책 개선 단계를 사용해, 에이전트별 정책 반복을 통해 무한 수명 주기 문제에 적용한다.
• 상태-롤아웃 제어 쌍에서 생성된 학습 데이터를 활용해 신경망을 훈련시킴으로써 함수 근사를 통합할 수 있도록 한다. 이는 롤아웃 정책을 근사하는 데 사용된다.

실험 결과

연구 질문

• RQ1 표준 롤아웃의 비용 향상 성질을 유지하면서도 계산 복잡도를 감소시키는 다중 에이전트 롤아웃 알고리즘을 설계할 수 있는가?
• RQ2 계산량이 감소했음에도 불구하고, 에이전트별 롤아웃이 표준 롤아웃 수준의 성능 향상을 달성할 수 있는가?
• RQ3 에이전트별 접근 방식은 수렴 보장을 갖는 무한 수명 주기 문제로 확장할 수 있는가?
• RQ4 에이전트 수가 증가함에 따라 이 방법은 어떻게 스케일업되며, 병렬 처리 및 분산 구현에 어떤 영향을 미치는가?
• RQ5 이 방법은 대규모 또는 연속 상태 문제에 대해 신경망과 같은 함수 근사 기법과 통합할 수 있는가?

주요 결과

• 에이전트별 롤아웃 알고리즘은 기본적인 비용 향상 성질을 유지한다: 모든 상태와 단계에 대해 $ J_{k,\tilde{\pi}}(x_k) \leq J_{k,\pi}(x_k) $ 를 만족하여 기반 정책 대비 성능 향상을 보장한다.
• 총 계산량은 에이전트 수에 대해 선형으로 증가한다. 반면 표준 롤아웃은 지수적으로 증가하므로, 이 방법은 대규모 다중 에이전트 시스템에 대해 확장 가능하다.
• 각 에이전트의 계산이 상호 독립적이므로, 효율적인 병렬 처리가 가능하다.
• 무한 수명 주기 문제에 대해, 에이전트별 정책 반복 알고리즘이 에이전트별 최적 정책으로 수렴함을 증명한 바, Proposition 4.1에 의해 입증된다.
• 함수 근사와의 통합이 가능하며, 예를 들어 상태-롤아웃 제어 쌍에서 생성된 데이터를 기반으로 신경망을 훈련시켜, 대규모 또는 연속 상태 공간에 적용할 수 있다.
• 에이전트별 롤아웃은 재구성된 문제에 대해 표준 롤아웃을 적용한 것과 동일하므로, 표준 롤아웃에 알려진 이론적 결과와 오차 한계는 재구성된 형태로 그대로 적용된다.