[논문 리뷰] DTC: Deep Tracking Control

Fabian Jenelten, Junzhe He외 2명|arXiv (Cornell University)|2023. 09. 27.

Robotic Path Planning Algorithms인용 수 1

한 줄 요약

이 논문은 모델 기반 궤적 최적화와 딥 강화학습을 결합한 하이브리드 제어 프레임워크인 DTC(Depth Tracking Control)를 제안한다. 이는 희박하고 도전적인 지형에서 강건하고 정밀한 이동을 달성하기 위해 고안되었다. 온라인 궤적 최적화를 통해 생성된 최적의 발자국을 추적하도록 딥 신경망 정책을 훈련시킴으로써, DTC는 뛰어난 발자국 정확도, 미끄럽거나 변형 가능한 표면에 대한 향상된 강건성, 다양한 지형 유형과 최적화 방법 간의 일반화 능력을 확보한다. 이는 시뮬레이션과 ANYmal 로봇에서의 실제 구현을 통해 입증되었다.

ABSTRACT

Legged locomotion is a complex control problem that requires both accuracy and robustness to cope with real-world challenges. Legged systems have traditionally been controlled using trajectory optimization with inverse dynamics. Such hierarchical model-based methods are appealing due to intuitive cost function tuning, accurate planning, generalization, and most importantly, the insightful understanding gained from more than one decade of extensive research. However, model mismatch and violation of assumptions are common sources of faulty operation. Simulation-based reinforcement learning, on the other hand, results in locomotion policies with unprecedented robustness and recovery skills. Yet, all learning algorithms struggle with sparse rewards emerging from environments where valid footholds are rare, such as gaps or stepping stones. In this work, we propose a hybrid control architecture that combines the advantages of both worlds to simultaneously achieve greater robustness, foot-placement accuracy, and terrain generalization. Our approach utilizes a model-based planner to roll out a reference motion during training. A deep neural network policy is trained in simulation, aiming to track the optimized footholds. We evaluate the accuracy of our locomotion pipeline on sparse terrains, where pure data-driven methods are prone to fail. Furthermore, we demonstrate superior robustness in the presence of slippery or deformable ground when compared to model-based counterparts. Finally, we show that our proposed tracking controller generalizes across different trajectory optimization methods not seen during training. In conclusion, our work unites the predictive capabilities and optimality guarantees of online planning with the inherent robustness attributed to offline learning.

연구 동기 및 목표

• 실제 환경 조건에서 모델 불일치나 가정 위반으로 인한 민감성 등의 순수 모델 기반 제어의 한계를 해결하기 위해.
• 간격이나 점프 스톤과 같은 희박한 지형에서 다리 운동 제어를 위한 강화학습에서의 희박한 보상 문제를 극복하기 위해.
• 다양한 궤적 최적화 방법과 지형 유형 간에 일반화 가능한 통합된 제어 정책을 개발하기 위해.
• 시뮬레이션과 실제 구현에서 높은 정밀도의 발자국 배치와 강건한 복구 기능을 실현하기 위해, 시뮬레이션에서의 도메인 랜덤라이제이션을 최소화하기 위해.

제안 방법

• 모델 기반 궤적 최적화기가 정책 추론 중 실시간으로 기준 운동과 발자국을 생성한다.
• 딥 신경망 정책은 최적화된 발자국을 추적하도록 시뮬레이션에서 훈련되며, 최적화기의 행동을 모방함으로써 유도된 밀도 높은 보상 구조를 사용한다.
• 12종류의 지형 유형과 10단계의 난이도 수준을 포함하는 1200개의 구별 가능한 지형 패치를 포함한 지형 커리큘럼을 통해 훈련함으로써 광범위한 일반화 능력을 확보한다.
• 최적화기는 발자국 접촉 시에만 업데이트되며(매 0.465초마다), 이는 계산 부담을 감소시키고 정책의 '게으름' 행동을 방지한다.
• 로봇이 넘어지거나 밀리거나 명령을 변경할 경우 시스템은 최적화된 궤적을 재계산하여 다양한 동적 상황에서도 유효성을 유지한다.
• 훈련 중 관절 위치 관측치에 노이즈를 주입하여 실제 구현에서 발생할 수 있는 높이 이격 현상을 시뮬레이션하고 이를 완화한다.

실험 결과

연구 질문

• RQ1 딥 강화학습 정책이 보상이 희박한 희박한 지형(예: 간격, 점프 스톤)에서 높은 정밀도의 발자국 배치를 달성할 수 있는가? 이는 희박한 보상으로 인한 학습의 어려움을 고려할 때 성립하는가?
• RQ2 제안된 하이브리드 아키텍처는 순수 모델 기반 방법에 비해 미끄럽거나 변형 가능한 지면과 같은 환경적 불확실성에 대해 얼마나 강건한가?
• RQ3 훈련 중에 볼 수 없었던 다양한 궤적 최적화 방법에 대해 훈련된 정책이 얼마나 일반화되는가?
• RQ4 최소한의 시뮬레이션-실세계 도메인 랜덤라이제이션으로도 높은 성능을 달성할 수 있으며, 이를 위해 필요한 훈련 처리 능력은 얼마인가?

주요 결과

• DTC 정책는 단 하루(6000 에포크)의 훈련 후에 정점 성능의 90%를 달성하며, 두 주(90000 에포크) 후에 완전한 수렴 상태에 도달한다.
• 다양한 궤적 최적화 방법 간에 일반화되며, 훈련 중에 볼 수 없었던 방법들에도 강력한 전이 능력을 보인다.
• 미끄럽거나 변형 가능한 지형에서 뛰어난 강건성을 확보하여, 모델 기반 기준 정책에 비해 실패 복구 능력과 안정성에서 뛰어난 성능을 보인다.
• 순수 데이터 기반 방법이 일반적으로 실패하는 희박한 지형(예: 간격, 점프 스톤)에서도 고정밀도의 발자국 배치를 유지한다.
• 하루에 1.6년 치의 최적화된 궤적을 생성함에도 불구하고, 기준 강화학습 접근법 대비 처리 능력은 1.7배 뿐이 낮아, 높은 계산 효율성을 보여준다.
• 3종류의 다른 ANYmal 로봇 변형체(C 및 D)에서 50 Hz 속도로 훈련 후 보정 없이 성공적으로 구현되었으며, 강력한 시뮬레이션-실세계 전이 능력을 확인했다.