[논문 리뷰] Learning Agile Locomotion via Adversarial Training

Yujin Tang, Jie Tan외 1명|arXiv (Cornell University)|2020. 08. 03.

Robotic Locomotion and Control참고 문헌 40인용 수 5

한 줄 요약

이 논문은 다각형 로봇이 CMA-ES를 사용해 정책을 반복적으로 최적화하면서 전문화된 도망치는 적들로 이루어진 앙상블을 추적함으로써 민첩한 이동을 학습하는 적대적 훈련 프레임워크를 제안한다. 단 세 번의 세대를 거치자마자 이 방법은 기준선 및 최신의 다중 에이전트 강화학습 알고리즘보다 추적 속도, 균형 잡힘, 그리고 예측되지 않은 적들에 대한 일반화 능력에서 뚜렷한 승리를 거두었다.

ABSTRACT

Developing controllers for agile locomotion is a long-standing challenge for legged robots. Reinforcement learning (RL) and Evolution Strategy (ES) hold the promise of automating the design process of such controllers. However, dedicated and careful human effort is required to design training environments to promote agility. In this paper, we present a multi-agent learning system, in which a quadruped robot (protagonist) learns to chase another robot (adversary) while the latter learns to escape. We find that this adversarial training process not only encourages agile behaviors but also effectively alleviates the laborious environment design effort. In contrast to prior works that used only one adversary, we find that training an ensemble of adversaries, each of which specializes in a different escaping strategy, is essential for the protagonist to master agility. Through extensive experiments, we show that the locomotion controller learned with adversarial training significantly outperforms carefully designed baselines.

연구 동기 및 목표

• 보상 함수나 환경을 수작업으로 세밀하게 조정하지 않고도 다리 달린 로봇을 위한 민첩한 이동 제어기 설계의 과제를 해결하기 위해.
• 추격자와 도망치는 에이전트 간의 적대적 자율대립이 수동적인 보상 설계 없이도 민첩하고 역동적인 이동 행동을 자연스럽게 유도할 수 있는지 조사하기 위해.
• 단일 적 또는 기준선 설정과 비교했을 때 전략 전문화된 적들의 앙상블을 사용해 훈련하면 일반화 능력과 강건성이 향상되는지 평가하기 위해.
• 액터-크리틱 방법이 실패하는 다중 에이전트 적대적 환경에서 CMA-ES와 같은 진화 전략이 복잡한 이동 제어 정책을 효과적으로 훈련시킬 수 있는지 보여주기 위해.
• 결과로 도출된 제어기가 훈련 중에 볼 수 없었던 적의 전략과 복잡한 궤적에 잘 일반화되어, 철저히 설계된 기준선보다 뛰어난 성능을 보이는지 보여주기 위해.

제안 방법

• 이 방법은 다중 에이전트 적대적 설정을 사용하며, 다각형 로봇(주인공)이 목표를 추격하고, 목표(적)는 도망치는 방식으로 공진화 훈련 과정을 만든다.
• 주인공의 정책은 CMA-ES를 사용해 최적화되며, 이는 누적 보상 성능에 기반해 정책 파라미터에 대한 가우시안 분포를 샘플링하고 업데이트하는 도함수 없는 진화 전략이다.
• 과적합을 방지하기 위해, 각각 다른 도망 전략(예: 옆으로 피하기, 갑작스러운 정지)에 특화된 적들의 앙상블을 훈련시켜 다양한 도전적인 훈련 시나리오를 보장한다.
• 훈련 과정은 분리되어 있다: 추격과 도망 행동은 학습을 안정화시키기 위해 반복적으로 훈련되며, MADDPG 및 MATD3와 같은 액터-크리틱 방법은 이 동시 학습 설정에서 실패한다.
• 보상 함수는 속도, 근접도, 성공적인 캐치를 장려하도록 설계되었으며, 할인 인자(γ = 1)가 없어 장기적 성능에 집중한다.
• 일반화 능력은 훈련 중에 볼 수 없었던 적들에 대해 주인공을 테스트하여 평가되며, 캐치 비율, 넘어짐 비율, 목표까지의 거리, 헤딩 오차 등의 지표를 사용한다.

실험 결과

연구 질문

• RQ1 보상 함수를 수작업으로 조정하지 않고도 추격자와 도망치는 에이전트 간의 적대적 자율대립이 민첩하고 역동적인 이동 행동을 자연스럽게 유도할 수 있는가?
• RQ2 전략 전문화된 적들의 앙상블을 사용해 훈련하면 단일 적을 사용한 경우보다 더 강건하고 일반화 능력이 뛰어난 이동 제어 정책을 얻을 수 있는가?
• RQ3 제안된 CMA-ES 기반의 적대적 훈련 방법은 철저히 설계된 기준선 환경과 최신의 다중 에이전트 강화학습 알고리즘과 비교해 성능 및 일반화 능력에서 어떻게 비교되는가?
• RQ4 학습 데이터에 존재하지 않는 새로운 적 전략과 복잡한 궤적에 대해 학습된 제어기가 얼마나 잘 일반화되는가?
• RQ5 왜 액터-크리틱 기반의 다중 에이전트 강화학습(MARL) 방법들인 MADDPG와 MATD3는 이 다중 에이전트 이동 설정에서 실패하는가? 그리고 진화 전략은 이러한 제약을 어떻게 극복할 수 있는가?

주요 결과

• 단 세 번의 적대적 훈련 세대를 거치자마자 주인공은 고속이고 안정적인 추격이 가능한 민첩한 보행을 학습했으며, 기준선 전부보다 추적 속도와 균형 잡힘에서 뚜렷한 승리를 거두었다.
• 적의 앙상블을 사용해 훈련한 제어기는 예측되지 않은 적들에 대해 98%의 캐치 비율을 기록했으며, 다음으로 좋은 기준선(π_single)의 51% 캐치 비율을 크게 앞서갔다.
• 복잡한 사인 파형 및 지그재그 궤적을 따라 추격하는 작업에서, 적대적 정책은 평균 헤딩 오차(θ)를 0.14 라디안으로 유지했고, 가장 좋은 기준선 대비 0.47 라디안보다 훨씬 낮아 추적 정밀도가 뛰어나다는 것을 보여주었다.
• 예측되지 않은 적 테스트에서 넘어짐 비율을 0%로 줄였고, 기준선는 최대 100 에피소드당 11번의 넘어짐을 겪었으며, 이는 훨씬 뛰어난 안정성과 강건성을 보여준다.
• 단일 적을 사용해 훈련한 π_single는 과적합이 발생했으며, 빠른 달리기 전략에 의존하지만 곡선 궤적에서는 실패한다. 이는 일반화를 위해 앙상블이 반드시 필요함을 시사한다.
• 적대적 훈련 방식은 주인공이 갑작스러운 정지와 급격한 회전과 같은 복잡한 조작을 마스터하도록 가능하게 했으며, 이는 철저히 설계된 기준선 환경조차도 학습하지 못한 행동들이다.