[논문 리뷰] Safe Optimal Control Using Stochastic Barrier Functions and Deep Forward-Backward SDEs

Marcus A. Pereira, Ziyi Wang외 2명|arXiv (Cornell University)|2020. 09. 02.

Fault Detection and Control Systems참고 문헌 22인용 수 10

한 줄 요약

이 논문은 확률적 바리에이션 함수와 딥 프론트-백워드 스토하스틱 미분 방정식(이하 FBSDE)을 사용하여 안전한 확률적 최적 제어를 위한 새로운 엔드 투 엔드 미분 가능한 딥 러닝 프레임워크를 제안한다. 다양한 기울기 최적화 레이어(특히 안전한 QP 레이어)를 딥 FBSDE와 통합함으로써, 역전파를 통한 엔드 투 엔드 훈련이 가능해지면서 거의 확실한 안전성을 확보할 수 있으며, 상태 및 제어 제약 조건이 존재하는 고차원 확률적 시스템에서의 유효성을 입증한다.

ABSTRACT

This paper introduces a new formulation for stochastic optimal control and stochastic dynamic optimization that ensures safety with respect to state and control constraints. The proposed methodology brings together concepts such as Forward-Backward Stochastic Differential Equations, Stochastic Barrier Functions, Differentiable Convex Optimization and Deep Learning. Using the aforementioned concepts, a Neural Network architecture is designed for safe trajectory optimization in which learning can be performed in an end-to-end fashion. Simulations are performed on three systems to show the efficacy of the proposed methodology.

연구 동기 및 목표

• 상태 및 제어 제약 조건 하에서 안전성을 보장하는 확장 가능한, 기본 원리에 기반한 확률적 최적 제어 방법론을 개발하는 것.
• 딥 러닝의 표현력과 확률적 시스템에서 제어 바리에이션 함수(CBF)의 검증 가능한 안전 보장을 연결하는 데에 있어 격차를 메우는 것.
• 딥 FBSDE 아키텍처 내에 다양한 기울기 볼록 최적화 레이어를 통합하여 신경망의 궤적 최적화를 위한 엔드 투 엔드 훈련을 가능하게 하는 것.
• 확산 과정을 포함한 일반적인 확률적 시스템으로까지 확률적 제로링 제어 바리에이션 함수(ZCBF) 이론을 확장하는 것.
• 안전 제약 조건이 존재하는 고차원 확률적 시스템에서의 시뮬레이션을 통해 프레임워크의 유효성을 입증하는 것.

제안 방법

• 프레임워크는 확률적 최적 제어를 위한 하밀토니안-자비-벨리만(HJB) 방정식을 모델링하기 위해 프론트-백워드 스토하스틱 미분 방정식(FBSDE)을 사용하며, 딥 러닝을 통해 해를 구현한다.
• 손실 함수가 종단 조건과 종단 기울기를 강제하는 방식으로, 딥 신경망을 사용하여 가치 함수와 그 기울기를 근사한다.
• 각 시간 단계에서 안전한 제어 입력을 계산하기 위해 다양한 기울기 2차 프rogamming(QP) 레이어를 통합하여 확률적 바리에이션 함수(sCBF) 제약 조건을 만족시킨다.
• sCBF 레이어는 시스템 동역학, 노이즈, 바리에이션 함수의 도함수를 포함하는 원-대안 내부점 방법(PDIPM) QP를 풀어 안전성을 보장한다.
• 훈련 과정은 종단 가치, 기울기, 정규화 항을 포함하는 손실 함수와 함께 확률적 경사 하강법(Adam)을 사용한다.
• LSTM과 완전 연결 레이어를 통합하여 시간에 따라 변화하는 가치 함수의 동역학과 기울기를 모델링하고, 시간적 일반화를 가능하게 한다.

실험 결과

연구 질문

• RQ1 프로세스 노이즈 존재 하에서 딥 FBSDE 기반 최적 제어에 확률적 바리에이션 함수를 효과적으로 통합하여 거의 확실한 안전성을 확보할 수 있는가?
• RQ2 딥 FBSDE에 다양한 기울기 볼록 최적화 레이어를 통합하여 엔드 투 엔드 훈련을 가능하게 하면서도 안전 제약 조건을 유지할 수 있는가?
• RQ3 제안된 프레임워크는 복잡한 상태 및 제어 제약 조건을 가진 고차원 확률적 시스템으로 얼마나 잘 스케일업할 수 있는가?
• RQ4 sCBF와 FBSDE의 통합은 표준 딥 FBSDE 컨트롤러에 비해 안전성 및 수렴 성질을 향상시키는가?
• RQ5 전체 최적화 및 동역학 체인을 거쳐 역전파를 통해 엔드 투 엔드 훈련이 가능한가?

주요 결과

• 제안된 프레임워크는 딥 FBSDE 아키텍처 내에 다양한 기울기 sCBF 레이어를 통합함으로써, 확률적 시스템에서 거의 확실한 안전성을 성공적으로 확보한다.
• QP 레이어와 FBSDE 동역학을 거쳐 역전파를 통해 가치 함수와 제어 정책의 엔드 투 엔드 훈련이 가능해진다.
• 다중 에이전트 자동차 시스템 포함 3개의 시스템에 대한 시뮬레이션 결과, 컨트롤러가 최적화된 궤적을 유지하면서도 안전한 거리(2대의 반지름 이내 최소 거리)를 유지함을 입증한다.
• 손실 함수는 종단 가치, 기울기, 정규화 항을 포함하며, 이는 훈련의 안정성과 수렴 성능 향상에 기여한다.
• 모든 시험 케이스에서 일관된 제약 조건 만족를 통해, 기준 방법에 비해 안전 제약 조건을 더 잘 유지함을 입증한다.
• PDIPM 기반 QP 레이어의 통합은 각 시간 단계에서 안전한 제어 입력을 효율적이고 다양한 기울기 방식으로 계산할 수 있도록 한다.