[논문 리뷰] Constrained Differential Dynamic Programming Revisited

Yuichiro Aoyama, George I. Boutselis외 2명|arXiv (Cornell University)|2020. 05. 03.

Reinforcement Learning in Robotics참고 문헌 18인용 수 10

한 줄 요약

이 논문은 상태 및 제어 제약 조건이 있는 궤적 최적화에서 수렴성과 타당성을 향상시키기 위해 슬랙 변수와 보완 라그랑주 방법을 통합하여 새로운 제약 조건이 있는 미분 동적 프rogramming(DDP) 프레임워크를 제안한다. S-KKT 및 AL 기반 알고리즘을 도입하여 이차 미분 가능성을 유지하면서도 기존 방법보다 속도, 강건성, 제약 조건 처리 능력에서 뛰어난 성능을 발휘한다. 로봇 제어 시나리오 전반에서 검증되었다.

ABSTRACT

Differential Dynamic Programming (DDP) has become a well established method for unconstrained trajectory optimization. Despite its several applications in robotics and controls however, a widely successful constrained version of the algorithm has yet to be developed. This paper builds upon penalty methods and active-set approaches, towards designing a Dynamic Programming-based methodology for constrained optimal control. Regarding the former, our derivation employs a constrained version of Bellman's principle of optimality, by introducing a set of auxiliary slack variables in the backward pass. In parallel, we show how Augmented Lagrangian methods can be naturally incorporated within DDP, by utilizing a particular set of penalty-Lagrangian functions that preserve second-order differentiability. We demonstrate experimentally that our extensions (individually and combinations thereof) enhance significantly the convergence properties of the algorithm, and outperform previous approaches on a large number of simulated scenarios.

연구 동기 및 목표

• 로봇공학 및 제어 분야에 적용 가능한 수치적으로 강건한 제약 조건이 있는 DDP 알고리즘이 부족한 문제를 해결하기 위해.
• 기존의 페널티 및 액티브 세트 방법이 궤적 최적화 중 상태 및 제어 제약 조건을 다루는 데 한계를 가진 문제를 해결하기 위해.
• 이차 미분 가능성을 유지하면서도 빠른 수렴성과 향상된 타당성을 보장하는 DDP 기반 방법을 개발하기 위해.
• 다양한 로봇 시스템에서 SQP 및 이전 DDP 변종과의 비교를 통해 제안된 방법의 실증적 검증을 수행하기 위해.
• 슬랙 변수 및 보완 라그랑주 방법을 융합하여 수치적 성능을 향상시키기 위해.

제안 방법

• Bellman의 최적성 원리를 슬랙 변수 설정으로 확장하여 활성 제약 조건에 대한 가정을 피함으로써 KKT 기반 DDP 방법(S-KKT)을 도입한다.
• 이차 미분 가능성을 유지하는 페널티-라그랑주 함수를 사용하는 보완 라그랑주 기반 방법을 제안하며, 이는 DDP 수렴성에 매우 중요하다.
• 보조 슬랙 변수를 사용하여 백워드 패스에서 제약 조건이 있는 Bellman 원리의 제약 버전을 유도함으로써 제약 조건 하에서의 부드러운 최적화를 가능하게 한다.
• S-KKT와 AL 방법을 융합하여 각각의 장점을 활용: S-KKT는 타당성과 강건성을 보장하고, AL은 초기 수렴 속도를 높인다.
• 헤시안 추정과 일阶 동역학 전개를 위해 가우스-뉴턴 근사법을 사용하여 계산 효율성을 유지한다.
• 연속적인 1차 도함수를 보장하고 정확한 KKT 해로 점차 수렴하는 수정된 페널티 함수를 사용한다.

실험 결과

연구 질문

• RQ1 일반적인 상태 및 제어 제약 조건을 다룰 수 있는 DDP 기반 방법을 개발할 수 있는가, 이때 이차 수렴성을 유지할 수 있는가?
• RQ2 Bellman 방정식에 슬랙 변수를 사용할 경우, 활성 세트 또는 투영 기반 방법과 비교해 수렴성과 타당성이 어떻게 향상되는가?
• RQ3 보완 라그랑주 방법을 DDP에 통합하면서도 부드러움을 유지하고 가속 수렴을 가능하게 할 수 있는가?
• RQ4 제안된 S-KKT 및 AL 방법은 SQP 및 이전의 제약 조건이 있는 DDP 접근법과 비교해 성능 및 강건성 면에서 어떻게 다른가?
• RQ5 S-KKT와 AL의 조합이 개별적 약점을 상쇄하여 뛰어난 수치적 성능을 낼 수 있는가?

주요 결과

• 2D 자동차 시스템에서 H=200 및 시간 예산 조건 하에서 AL-S-KKT 방법이 가장 낮은 비용(2.44)과 가장 빠른 시간(2.36초)을 기록하여 모든 다른 방법을 압도했다.
• 쿼드로코pter 시스템에서 AL-S-KKT는 H=200일 때 5.91초 내로 비용 7.48을 달성했으며, SQP(비용 2.43×10³, 시간 6초) 및 AL(제약 위반, H=300일 때 불가능)에 비해 뚜렷한 우수성을 보였다.
• S-KKT는 모든 테스트 케이스에서 타당성(제약 g 및 f에 대해 0.0% 위반)을 유지했으며, 엄격한 시간 예산 조건 하에서도 성능을 유지했고, SQP 및 AL은 수렴 실패 또는 제약 위반을 겪었다.
• S-KKT 방법은 초기 궤적 조건에 대해 뛰어난 강건성을 보였으며, 최적점에서 시작하지 않은 경우에도 타당성과 낮은 비용을 유지했다.
• AL 방법은 초기 반복에서 빠르지만 제약 조건 근처에서 느려지고 가끔 제약을 위반하는 경향이 있었고, S-KKT는 느린 반복 시간을 감수하면서도 타당성을 보장했다.
• S-KKT와 AL의 조합(AL-S-KKT)는 속도와 타당성의 균형을 이루며 가장 뛰어난 종합 성능을 보였으며, 특히 시간 제약 조건 하에서 두각을 나타냈다.