[논문 리뷰] Combining Benefits from Trajectory Optimization and Deep Reinforcement Learning

Guillaume Bellegarda, Katie Byl|arXiv (Cornell University)|2019. 10. 21.

Reinforcement Learning in Robotics참고 문헌 25인용 수 5

한 줄 요약

이 논문은 로봇 제어에서 샘플 효율성과 정책의 강건성을 향상시키기 위해 딥 강화학습(DRL)과 궤적 최적화(TO)를 결합한 하이브리드 방법 CoTO-PPO를 제안한다. 각 타임스텝에서 에이전트는 시뮬레이션에서 가장 높은 즉각적 보상을 제공하는 동작—DRL 정책 또는 TO에서 선택하며, 최악의 성능 한계를 보장하고 수렴 속도를 가속화하면서도 안전성을 유지한다.

ABSTRACT

Recent breakthroughs both in reinforcement learning and trajectory optimization have made significant advances towards real world robotic system deployment. Reinforcement learning (RL) can be applied to many problems without needing any modeling or intuition about the system, at the cost of high sample complexity and the inability to prove any metrics about the learned policies. Trajectory optimization (TO) on the other hand allows for stability and robustness analyses on generated motions and trajectories, but is only as good as the often over-simplified derived model, and may have prohibitively expensive computation times for real-time control. This paper seeks to combine the benefits from these two areas while mitigating their drawbacks by (1) decreasing RL sample complexity by using existing knowledge of the problem with optimal control, and (2) providing an upper bound estimate on the time-to-arrival of the combined learned-optimized policy, allowing online policy deployment at any point in the training process by using the TO as a worst-case scenario action. This method is evaluated for a car model, with applicability to any mobile robotic system. A video showing policy execution comparisons can be found at https://youtu.be/mv2xw83NyWU .

연구 동기 및 목표

• 실세계 로봇 제어에 적용되는 순수 딥 강화학습(DRL)의 높은 샘플 복잡도와 강건성 부족 문제를 해결한다.
• 모델 정확도 부족과 높은 계산 비용 등의 한계를 겪는 궤적 최적화(TO)의 문제를 DRL과의 통합을 통해 완화한다.
• DRL 네트워크가 무작위로 초기화된 상태에서도 언제든지 정책을 온라인으로 배포할 수 있도록, TO를 통해 증명 가능한 안전한 최악의 상황 동작을 제공한다.
• 탐색 중에 TO를 보수적인 기준선으로 활용하여, 비최적 영역에서의 체류 시간을 줄이고 정책 학습 효율을 향상시킨다.
• TO를 통해 도착 시간에 대한 상한선 추정치를 제공하여, 훈련 및 배포 중 성능 보장을 확보한다.

제안 방법

• 각 환경 단계에서 에이전트는 DRL 정책 네트워크와 궤적 최적화기(TO)로부터 동작을 계산한다.
• 에이전트는 두 동작의 실행을 시뮬레이션 환경에서 시뮬레이션하여 즉각적 보상을 추정한다.
• 더 높은 시뮬레이션 보상을 제공하는 동작이 실제 세계 실행에 선택되며, 이는 TO 성능 이하로 악화되지 않음을 보장한다.
• 에이전트는 하이브리드 동작 선택 과정에서 수집된 경험을 사용하여 PPO를 통해 DRL 정책을 훈련하며, TO 동작로부터의 지도 학습 업데이트도 포함한다.
• 과적합을 방지하고 탐색 효율성을 유지하기 위해, 1단계 단일 시간 간격의 보상 비교를 사용한다.
• TO 프레임워크는 다각형 제약 조건을 갖춘 직접 콜로케이션 방법인 DIRCON 기반으로, 고정밀 노멀 궤적 생성을 가능하게 한다.

실험 결과

연구 질문

• RQ1 궤적 최적화와 딥 강화학습을 융합함으로써 샘플 복잡도를 감소시키면서도 로봇 제어에서 안전성 보장을 유지할 수 있는가?
• RQ2 DRL 훈련 중에 TO를 최악의 상황 동작으로 사용할 경우, 순수 DRL보다 정책 수렴성과 성능이 향상되는가?
• RQ3 이 하이브리드 방법은 DRL 네트워크가 무작위로 초기화된 상태에서도 언제든지 정책을 온라인으로 배포할 수 있는가?
• RQ4 행동 비교에 사용되는 시뮬레이션 시점의 길이가 정책 성능 및 탐색 효율성에 어떤 영향을 미치는가?
• RQ5 순수 DRL로 훈련을 시작하는 것과 비교했을 때, TO를 통합함으로써 최종 DRL 정책의 품질이 어느 정도 향상되는가?

주요 결과

• 100만 번째 훈련 스텝 이후 평균 누적 보상 측면에서 CoTO-PPO는 순수 PPO보다 뚜렷한 성능 향상을 보이며, 확률적 및 결정적 평가 모두에서 유의미한 개선을 보였다.
• 75퍼센트 이상의 경우에서 CoTO-PPO로 훈련된 정책이 TO 동작보다 우선 선택되었으며, 이는 초기 TO 기반 정책을 초월한 강력한 학습 진전을 나타낸다.
• 부적절한 순수 PPO 정책과 조합된 경우에도 CoTO 프레임워크는 평균 보상을 향상시켰으며, 이는 TO가 유의미한 보수적인 기준선으로 작용함을 보여준다.
• 특히 초기 훈련 단계에서 DRL 정책의 초기화가 열악할 경우의 랜덤 탐색 의존도를 줄여 샘플 효율성을 향상시켰다.
• 행동 선택에 1단계 시점 길이를 사용할 경우, 더 긴 시점 길이보다 성능이 뛰어나며, 더 긴 시점 길이는 DRL 정책가 TO에 의해 회귀하여 기대 보상이 0에 수렴함으로써 DRL 정책가 지배당하게 되는 문제를 야기한다.
• 하이브리드 접근법은 TO 솔루션을 통해 도착 시간에 대한 증명 가능한 상한선을 제공하여, 정책이 완전히 수렴하지 않은 상태에서도 언제든지 안전하게 배포할 수 있도록 보장한다.