[논문 리뷰] Non-local Policy Optimization via Diversity-regularized Collaborative Exploration

Zhenghao Peng, Hao Sun외 1명|arXiv (Cornell University)|2020. 06. 14.

Reinforcement Learning in Robotics참고 문헌 38인용 수 5

한 줄 요약

이 논문은 비국소적 정책 최적화 프레임워크인 다양성 정규화 협동 탐색(DiCE)을 제안한다. 이는 이질적인 에이전트 팀이 상태-행동 공간을 협동적으로 탐색하면서도 정규화 메커니즘을 통해 다양성을 유지한다. DiCE는 MuJoCo 이동 환경에서 PPO 및 SAC 기준선 대비 샘플 효율성과 최종 성능을 크게 향상시키며, Ant-v3에서는 최대 2.3배 높은 수익을, Humanoid-v3에서는 1.8배를 기록한다.

ABSTRACT

Conventional Reinforcement Learning (RL) algorithms usually have one single agent learning to solve the task independently. As a result, the agent can only explore a limited part of the state-action space while the learned behavior is highly correlated to the agent's previous experience, making the training prone to a local minimum. In this work, we empower RL with the capability of teamwork and propose a novel non-local policy optimization framework called Diversity-regularized Collaborative Exploration (DiCE). DiCE utilizes a group of heterogeneous agents to explore the environment simultaneously and share the collected experiences. A regularization mechanism is further designed to maintain the diversity of the team and modulate the exploration. We implement the framework in both on-policy and off-policy settings and the experimental results show that DiCE can achieve substantial improvement over the baselines in the MuJoCo locomotion tasks.

연구 동기 및 목표

• 단일 에이전트 강화학습에서 정책과 경험에 의해 제약을 받는 국소적 탐색의 한계를 해결하기 위해.
• 에이전트 간 경험 공유와 상태-행동 공간의 다른 영역 탐색을 통해 비국소적 탐색을 가능하게 하기 위해.
• 동시 학습 중에 에이전트 간 행동 다양성을 유지하여 유사하고 열악한 정책로 수렴하는 것을 방지하기 위해.
• 비용이 많이 드는 오토인코더나 수작업으로 설계된 표현 방식을 피하기 위해 효율적이고 컴act한 다양성 정규화 메커니즘을 설계하기 위해.
• 어려운 MuJoCo 이동 작업에서 온-폴리시 및 오프-폴리시 설정 전반에 걸쳐 프레임워크를 검증하기 위해.

제안 방법

• DiCE는 환경과 독립적으로 상호작용하는 이질적인 에이전트 그룹을 활용한다.
• 중앙집중식 리PLAY 버퍼가 공유된 경험을 저장하여 모든 에이전트가 동일한 데이터 풀에서 학습할 수 있도록 한다.
• 가능 방향 방법 기반의 다양성 정규화 메커니즘이 정책 업데이트를 조절하여 이종 에이전트 간 행동 다양성을 유지한다.
• 오토인코더나 수작업으로 설계된 특징을 피하기 위해, 탐색을 이끄는 다양성 값을 추정하는 컴act한 다양성 가치 네트워크(DVN)를 설계한다.
• 학습 안정화를 위해 양측 클리핑 손실, 정규화된 이점, 지연된 타겟 업데이트를 통합한다.
• DiCE는 A2C, PPO와 같은 온-폴리시 알고리즘과 SAC와 같은 오프-폴리시 알고리즘 모두에 구현되었으며, 핵심 구성 요소에 대한 분석 실험을 수행했다.

실험 결과

연구 질문

• RQ1 이질적인 에이전트를 활용한 협동 탐색이 국소 최소값을 초월해 효과적인 탐색 공간을 크게 확장할 수 있는가?
• RQ2 학습 가능한 컴act한 다양성 정규화 메커니즘이 연속 제어 작업에서 샘플 효율성과 최종 성능을 향상시키는가?
• RQ3 팀 규모가 DiCE의 협동 탐색 성능과 안정성에 어떤 영향을 미치는가?
• RQ4 DiCE가 MuJoCo 이동 환경에서 표준 기준선인 PPO와 SAC를 어느 정도 능가하는가?
• RQ5 각 구성 요소(예: DVN, 정규화, 다양성 정규화)가 DiCE의 전체 성능에 기여하는 정도는 어떠한가?

주요 결과

• Ant-v3에서 DiCE는 평균 수익 2517.65를 기록하여 온-폴리시 설정에서 PPO 기준선(1230.82)과 SAC(4825.35)를 초월했다.
• Humanoid-v3에서 DiCE는 평균 수익 566.88을 달성하여 온-폴리시 설정에서 PPO(453.09) 대비 16% 향상되었고, 오프-폴리시 설정에서 SAC(5046.93) 대비 12% 향상되었다.
• 최적의 팀 규모는 K=7로 확인되었으며, K=10일 경우 과도한 다양성이 정책 품질을 떨어뜨리는 원인이 되었다.
• 분석 실험 결과, 협동 탐색 기능을 비활성화하면 학습이 붕괴되었고, 이점 정규화 기능을 제거하면 성능이 심각하게 악화되었다.
• 다양성 가치 네트워크(DVN)는 Ant-v3에서 불안정한 다양성 신호로 인해 성능을 저하시켰지만, Walker2d-v3에서는 영향이 적어 작업에 따라 민감도가 다름을 확인했다.
• DiCE-SAC는 별도의 다양성 크리틱을 갖추어 Walker2d-v3에서 4784.59의 수익을 기록하여 표준 SAC(4293.26)를 능가했으며, 이는 방법의 강건성과 일반화 능력을 입증한다.