[논문 리뷰] Model-based Reinforcement Learning for Decentralized Multiagent Rendezvous

Rose E. Wang, J. Chase Kew외 6명|arXiv (Cornell University)|2020. 03. 15.

Reinforcement Learning in Robotics인용 수 9

한 줄 요약

이 논문은 자기지도 학습된 운동 예측을 통해 통신 없이도 목표를 조율할 수 있도록 하는 모델 기반 강화학습 방법인 계층적 예측 계획(Hierarchical Predictive Planning, HPP)을 제안한다. HPP는 학습된 운동 모델을 활용해 계획을 동적으로 정렬하고 반복적 하위목표 계획을 수행함으로써, 복잡한 미리 보지 못한 시뮬레이션 환경과 실제 환경에서 베이스라인보다 뛰어난 성능을 보인다.

ABSTRACT

Collaboration requires agents to align their goals on the fly. Underlying the human ability to align goals with other agents is their ability to predict the intentions of others and actively update their own plans. We propose hierarchical predictive planning (HPP), a model-based reinforcement learning method for decentralized multiagent rendezvous. Starting with pretrained, single-agent point to point navigation policies and using noisy, high-dimensional sensor inputs like lidar, we first learn via self-supervision motion predictions of all agents on the team. Next, HPP uses the prediction models to propose and evaluate navigation subgoals for completing the rendezvous task without explicit communication among agents. We evaluate HPP in a suite of unseen environments, with increasing complexity and numbers of obstacles. We show that HPP outperforms alternative reinforcement learning, path planning, and heuristic-based baselines on challenging, unseen environments. Experiments in the real world demonstrate successful transfer of the prediction models from sim to real world without any additional fine-tuning. Altogether, HPP removes the need for a centralized operator in multiagent systems by combining model-based RL and inference methods, enabling agents to dynamically align plans.

연구 동기 및 목표

• 에이전트들이 명시적 통신이나 중심 집중식 제어 없이도 목표를 일치시켜야 하는 분산형 다중 에이전트 집합 문제에 대응한다.
• LiDAR와 같은 노이즈가 많고 고차원적인 센서 입력 및 완벽하지 않은 내비게이션 정책을 가진 실제 환경에서 에이전트들이 조율할 수 있도록 한다.
• 학습된 모델을 통해 미리 보지 못한 환경으로 일반화하고, 미세조정 없이 시뮬레이션에서 실제 환경으로의 전이를 가능하게 하는 시스템을 개발한다.
• 다른 에이전트의 운동을 모델링하고 예측하여, 에이전트들이 반대편 집합 지점으로 향하는 등의 잘못된 조율 문제를 해결한다.
• 학습된 운동 예측기와 통합된 계획-제어 피드백 루프를 통해, 장애물이 많은 동적인 환경에서 적응적이고 목표에 맞는 행동을 가능하게 한다.

제안 방법

• 각 에이전트의 자체 관측치와 가정된 목표만을 사용하여 자기지도 학습 방식으로 운동 예측 모델을 훈련시키며, 에이전트의 국소 기준에서 동료의 상대 운동을 예측한다.
• 학습된 운동 모델을 활용해 계층적 계획 과정에서 잠재적인 집합 하위목표를 평가하며, 가능한 목표에 대한 믿음 분포를 유지한다.
• 계획 모듈에서 운동 예측 모델의 예측을 기반으로 타당성, 조율 가능성, 장애물 회피를 균형 잡는 공동 목표 함수를 구현한다.
• 예측 기반 계획을 통해 집합 목표를 선택하고 업데이트하는 HPP와 통합된 사전 훈련된 포인트 투 포인트 내비게이션 정책을 제어 모듈로 사용한다.
• 운동 예측을 통한 반복적 재계획을 통해, 에이전트들이 충돌하는 집합 지점으로 향하는 등의 잘못된 조율 문제를 해결한다.
• 에이전트의 능력과 작업을 분리하기 위해, 기반 내비게이션 정책의 동역학성과 제약을 반영하는 운동 모델을 학습한다.

실험 결과

연구 질문

• RQ1 분산형 다중 에이전트 시스템은 명시적 통신이나 중심 집중식 조율 없이 어떻게 집합을 이룰 수 있는가?
• RQ2 시뮬레이션에서 훈련된 자기지도 학습 운동 예측 모델이 고차원적이고 노이즈가 많은 센서 입력을 가진 실제 환경으로 일반화될 수 있는가?
• RQ3 모델 기반 강화학습은 다중 에이전트 내비게이션 작업에서 조율을 향상시키고 잘못된 조율를 줄이는 데 어떻게 기여하는가?
• RQ4 예측 모델을 활용한 계층적 계획은 에이전트가 실현 가능하고 조율되며 장애물 없이 통과 가능한 집합 지점을 선택하는 데 어떤 역할을 하는가?
• RQ5 시뮬레이션에서 훈련된 운동 예측 모델이 복잡하고 장애물이 많은 환경에서 제로샷 시뮬레이션-실세계 전이를 얼마나 잘 달성할 수 있는가?

주요 결과

• HPP는 장애물이 많고 대칭적인 레이아웃을 가진 복잡한, 사전에 보지 못한 시뮬레이션 환경에서 대안적 강화학습, 경로 계획, 히우리스틱 기반의 베이스라인보다 뛰어난 성능을 보였다.
• HPP는 제로샷 시뮬레이션-실세계 전이를 달성하여, 운동 예측 모델의 추가 미세조정 없이도 실제 환경에서 집합 작업을 성공적으로 완수하였다.
• 실제 환경 테스트에서 HPP는 일관되게 집합 작업을 완수했으며, MADDPG 에이전트는 LiDAR 활용이 열악하고 잘못된 조율로 인해 끊임없이 원을 그리며 이동하는 경우가 많았다.
• HPP의 성능은 복잡한 환경에서 계획 주기와 계획 수평이 증가할수록 비례적으로 크게 향상되었으며, 도전적인 환경에 대해 강력한 확장성을 보였다.
• 제거 실험 결과, 에이전트의 국소 기준에서의 상대 자세 변화를 예측하는 것이 절대 자세나 글로벌 기준 예측보다 더 나은 운동 모델을 제공하는 것으로 나타났다.
• HPP는 운동 예측을 통해 믿음과 계획을 동적으로 업데이트함으로써, 에이전트들이 반대편 집합 지점으로 향하는 등의 잘못된 조율 문제를 효과적으로 해결하였다.