[논문 리뷰] Feasibility-Guided Learning for Robust Control in Constrained Optimal Control Problems

Wei Xiao, Călin Belta외 1명|arXiv (Cornell University)|2019. 12. 06.

Advanced Control Systems Optimization참고 문헌 19인용 수 4

한 줄 요약

이 논문은 고차수 제어 장벽 함수(HOCBF)의 파라미터를 최적화하여 제약 조건이 있는 최적 제어에서 강건성을 향상시키기 위해 타당성 유도 학습 접근법을 제안한다. 기계 학습을 사용해 타당/비타당한 파라미터 영역을 분류하고, 이를 학습 과정에 미분 가능 분류기로 통합함으로써, 시간에 따라 변화하고 알 수 없는 비안전 영역이 존재하는 상황에서도 QP의 타당성을 향상시킨다. 시뮬레이션 기반 로봇 주행 작업에서 안전 보장을 하면서 기울기 하강법보다 뛰어난 성능을 보였다.

ABSTRACT

Optimal control problems with constraints ensuring safety and convergence to desired states can be mapped onto a sequence of real time optimization problems through the use of Control Barrier Functions (CBFs) and Control Lyapunov Functions (CLFs). One of the main challenges in these approaches is ensuring the feasibility of the resulting quadratic programs (QPs) if the system is affine in controls. The recently proposed penalty method has the potential to improve the existence of feasible solutions to such problems. In this paper, we further improve the feasibility robustness (i.e., feasibility maintenance in the presence of time-varying and unknown unsafe sets) through the definition of a High Order CBF (HOCBF) that works for arbitrary relative degree constraints; this is achieved by a proposed feasibility-guided learning approach. Specifically, we apply machine learning techniques to classify the parameter space of a HOCBF into feasible and infeasible sets, and get a differentiable classifier that is then added to the learning process. The proposed feasibility-guided learning approach is compared with the gradient-descent method on a robot control problem. The simulation results show an improved ability of the feasibility-guided learning approach over the gradient-decent method to determine the optimal parameters in the definition of a HOCBF for the feasibility robustness, as well as show the potential of the CBF method for robot safe navigation in an unknown environment.

연구 동기 및 목표

• 엄격한 안전 제약 조건과 날카로운 제어 한계를 가진 시스템에서 CBF 및 CLF 기반 최적 제어의 2차 계획 문제(QP)의 타당성 문제를 해결하기 위해.
• 특히 고상대도 수계를 위한 시간에 따라 변화하고 알 수 없는 비안전 영역이 존재하는 상황에서의 타당성 강건성을 향상시키기 위해.
• HOCBF 파라미터를 최적화하여 제약 조건의 활성화를 연기하고 강건성을 극대화하는 학습 기반 방법을 개발하기 위해.
• 로봇 제어 환경에서 타당성 유도 학습(FGO) 접근법을 기울기 하강법(GD)과 비교하여 성능 향상과 안전성을 입증하기 위해.
• 미분 가능하고 학습 가능한 장벽 함수 프레임워크를 사용해, 미지 또는 동적인 환경에서 적응적이고 실시간으로 안전한 주행을 가능하게 하기 위해.

제안 방법

• 임의의 상대도 제약 조건을 처리하기 위해 조정 가능한 페널티 및 거듭제곱 파라미터를 가진 고차수 제어 장벽 함수(HOCBF)를 파arameter화하기 위해.
• QP 타당성 기반으로 HOCBF 파라미터 공간을 타당 영역과 비타당 영역으로 분류하기 위해 기계 학습을 사용하기 위해.
• HOCBF 파라미터를 타당성 결과로 매핑하는 미분 가능 분류기를 훈련시어 종단 간 최적화를 가능하게 하기 위해.
• 학습된 분류기를 타당성 유도 최적화(FGO) 프레임워크에 통합하여 비안전 영역까지의 최소 거리를 극대화하기 위해.
• HOCBF 제약 조건이 가능한 한 늦게 활성화되도록 하여 강건성을 향상시키기 위해 제약 조건이 있는 최적 제어 문제를 수립하기 위해.
• 분류 정확도와 타당성 강건성 지표를 사용해 시뮬레이션에서 FGO 방법과 기울기 하강법(GD)을 비교하기 위해.

실험 결과

연구 질문

• RQ1 기계 학습 기반 분류기가 알 수 없는 시간에 따라 변화하는 비안전 영역이 존재하는 CBF 및 CLF 기반 최적 제어에서 QP의 타당성을 향상시킬 수 있는가?
• RQ2 타당성 유도 학습(FGO)은 HOCBF 파라미터 최적화에서 기울기 하강법과 비교해 어떻게 성능을 높이는가?
• RQ3 비안전 영역이 알려지지 않았거나 동적으로 변화하는 상황에서 제안된 방법이 QP 타당성을 얼마나 유지하는가?
• RQ4 학습된 HOCBF 파라미터는 이동하는 장애물이 있는 미지의 환경에서 안전한 로봇 주행을 보장할 수 있는가?
• RQ5 미분 가능 분류기는 고상대도 수계를 위한 HOCBF 파라미터의 효과적이고 확장 가능한 최적화를 가능하게 하는가?

주요 결과

• 타당성 유도 학습(FGO) 접근법은 4000개의 훈련 샘플에서 97.0%의 분류 정확도를 달성하여 기울기 하강법보다 최적의 HOCBF 파라미터를 식별하는 데 뛰어난 성능을 보였다.
• 3500개의 훈련 샘플을 사용할 때 FGO는 기울기 하강법보다 더 나은 해를 찾는 데 28.8%의 성공률를 보였으며, 두 방법을 조합하면 5% 향상된 성능를 기록했다.
• 학습된 HOCBF 파라미터 $(p_1^*, p_2^*, q_1^*, q_2^*) = (0.7426, 1.9745, 1.9148, 0.7024)$ 는 장애물의 크기와 랜덤 이동이 있는 모든 테스트 환경에서 안전한 로봇 주행을 가능하게 했다.
• CBF 기반 프레임워크는 A*와 RRT와 달리 전반적인 환경 지도 정보가 필요 없이도 안전 보장을 유지했다.
• CBF 방법의 계산 시간은 스텝당 0.01초 미만이었으며, 빈번한 재계획이 필요한 동적 환경에서 A*(1.3초)와 RRT(0.3초)보다 훨씬 효율적이었다.
• 동적 환경에서 장애물 위치가 급격히 변화하는 상황에서도 CBF 프레임워크는 A*와 RRT보다 뛰어난 적응성과 강건성을 보였다.