[논문 리뷰] A Direct-Indirect Hybridization Approach to Control-Limited DDP.

Carlos Mastalli, Wolfgang Merkt외 4명|arXiv (Cornell University)|2020. 10. 01.

Prosthetics and Rehabilitation Robotics참고 문헌 43인용 수 13

한 줄 요약

이 논문은 제어 제한 조건이 있는 차분 동적 프로그래밍(Differential Dynamic Programming, DDP)의 직접-간접 하이브리드 방법인 Box-FDDP를 제안한다. 이 방법은 전진 및 역행 단계에 모두 타당성 확보와 제어 제한 처리를 통합하여 수치적 수렴성과 계산 효율성을 향상시킨다. 장기 시간 영역과 강한 제약 조건을 가진 어려운 최적 제어 문제에서 Box-DDP 및 압축 함수 기반 방법보다 뛰어난 성능을 달성한다.

ABSTRACT

Optimal control is a widely used tool for synthesizing motions and controls for user-defined tasks under physical constraints. A common approach is to formulate it using direct multiple-shooting and then to use off-the-shelf nonlinear programming solvers that can easily handle arbitrary constraints on the controls and states. However, these methods are not fast enough for many robotics applications such as real-time humanoid motor control. Exploiting the sparse structure of optimal control problem, such as in Differential DynamicProgramming (DDP), has proven to significantly boost the computational efficiency, and recent works have been focused on handling arbitrary constraints. Despite that, DDP has been associated with poor numerical convergence, particularly when considering long time horizons. One of the main reasons is due to system instabilities and poor warm-starting (only controls). This paper presents control-limited Feasibility-driven DDP (Box-FDDP), a solver that incorporates a direct-indirect hybridization of the control-limited DDP algorithm. Concretely, the forward and backward passes handle feasibility and control limits. We showcase the impact and importance of our method on a set of challenging optimal control problems against the Box-DDP and squashing-function approach.

연구 동기 및 목표

• 장기 시간 영역의 최적 제어 문제에서 제어 제한 조건이 존재할 경우 DDP의 열악한 수치적 수렴성을 해결하기 위해.
• 실시간 로봇 공학 애플리케이션에서 표준 DDP 및 직접 다중사격 방법의 한계를 극복하기 위해.
• 직접 및 간접 최적 제어 전략을 융합함으로써 온난 시작(warm-starting)과 타당성 처리를 향상시키기 위해.
• 복잡한 제어 및 상태 제약 조건 하에서도 제약 조건을 유지하고 계산 효율성을 확보하는 강력한 해법을 개발하기 위해.

제안 방법

• 타당성 확보를 전진 및 역행 단계에 통합함으로써 직접 다중사격 방법과 간접 DDP를 하이브리드화한다.
• 역행 단계에서 상자 제약 조건을 사용한 수식을 통해 제어 제한을 명시적으로 처리하여 반복 과정 전반에 걸쳐 타당성을 유지한다.
• 전진 단계에서 타당성 보정을 통합하여 궤도 최적화 과정의 초기 단계에서 제약 위반을 조기에 해결한다.
• 최적 제어 문제의 희소 구조를 활용하여 계산 효율성을 유지하면서 수렴성을 향상시킨다.
• 상태 및 제어 궤도를 함께 전파함으로써 온난 시작을 향상시켜 이후 반복의 초기 추정치 품질을 개선한다.
• 벌점 함수나 압축 함수를 사용하지 않아 수렴성 저하 및 수치적 불안정성을 유발할 수 있다.

실험 결과

연구 질문

• RQ1 직접-간접 하이브리드화가 장기 시간 영역 문제에서 제어 제한 조건이 있는 DDP의 수렴성에 어떻게 기여하는가?
• RQ2 전진 및 역행 단계에 타당성 확보를 통합할 경우 수치적 안정성에 어떤 영향을 미치는가?
• RQ3 Box-FDDP는 Box-DDP 및 압축 함수 기반 방법과 비교해 수렴 속도와 제약 조건 만족도 측면에서 어떻게 다를까?
• RQ4 역행 단계에서 제어 제한을 명시적으로 처리하면 온난 시작 성능 향상과 반복 횟수 감소에 기여하는가?
• RQ5 엄격한 제어 및 상태 제약 조건 하에서도 하이브리드 접근 방식은 계산 효율성을 유지하면서 강건성을 향상시키는가?

주요 결과

• Box-FDDP는 특히 장기 시간 영역에서 표준 Box-DDP보다 뚜렷이 향상된 수치적 수렴성을 보였다.
• 압축 함수 기반 방법보다 더 빠른 수렴 속도와 더 나은 제약 조건 만족도를 달성했으며, 후자는 종종 최적해에 도달하지 못하는 해를 유도한다.
• 전진 및 역행 단계에서 제어 제한을 명시적으로 처리함으로써 제약 위반 수가 감소하고 궤도의 타당성이 향상되었다.
• 희소 구조를 유지함으로써 DDP의 계산 효율성을 유지하면서도 강건성을 향상시킨 하이브리드 수식이 성공했다.
• 엄격한 제어 범위와 복잡한 역학을 가진 어려운 최적 제어 문제에서 뛰어난 성능을 보였다.
• 상태 및 제어 궤도를 함께 전파함으로써 온난 시작 성능이 뚜렷이 향상되어 수렴에 필요한 반복 횟수가 감소했다.