[논문 리뷰] Safe Control with Learned Certificates: A Survey of Neural Lyapunov, Barrier, and Contraction methods

Charles Dawson, Sicun Gao외 1명|arXiv (Cornell University)|2022. 02. 23.

Fault Detection and Control Systems인용 수 19

한 줄 요약

이 종합 검토에서는 비선형 로봇 시스템에서 학습된 제어기의 검증 가능하고 안정적인 안전 보장을 제공하기 위해 신경망을 통해 리아푸노프, 바리에이션, 수축 함수를 학습하는 신경 인증 방법을 소개한다. 제어 정책과 미분 가능 인증을 함께 훈련시킴으로써, 수작업으로 설계된 함수나 제한적인 시스템 가정에 의존하지 않고 안전하고 안정적이며 검증 가능한 제어를 가능하게 하는 프레임워크를 제공한다. 기존의 합의의 제곱 또는 PDE 기반 접근 방식과 비교해 스케일러블한 대안을 제공한다.

ABSTRACT

Learning-enabled control systems have demonstrated impressive empirical performance on challenging control problems in robotics, but this performance comes at the cost of reduced transparency and lack of guarantees on the safety or stability of the learned controllers. In recent years, new techniques have emerged to provide these guarantees by learning certificates alongside control policies -- these certificates provide concise, data-driven proofs that guarantee the safety and stability of the learned control system. These methods not only allow the user to verify the safety of a learned controller but also provide supervision during training, allowing safety and stability requirements to influence the training process itself. In this paper, we provide a comprehensive survey of this rapidly developing field of certificate learning. We hope that this paper will serve as an accessible introduction to the theory and practice of certificate learning, both to those who wish to apply these tools to practical robotics problems and to those who wish to dive more deeply into the theory of learning for control.

연구 동기 및 목표

• 비선형 동역학 시스템에서 안전하고 안정적인 제어를 위한 신경 인증 방법에 대한 종합적이고 접근 가능한 종합 검토를 제공하는 것.
• 신경망 프레임워크 내에서 리아푸노프, 바리에이션, 수축 함수 학습을 통합함으로써 형식적 제어 이론과 현대적 학습 기반 제어 간 격차를 메우는 것.
• 딥 강화 학습에서의 보장을 부족한 문제를 해결하기 위해 검증 가능한 인증을 통한 자기 지도 학습을 가능하게 하는 것.
• 이질적인 다중 에이전트, 분산형, 네트워크 기반 제어 시스템 분야에서의 열린 과제와 향후 연구 방향을 규명하는 것.
• 로봇 공학 및 제어 분야에서 인증 학습을 적용하거나 발전시키는 연구자 및 실무자에게 기초 자료를 제공하는 것.

제안 방법

• 프레임워크는 제어 인증—리아푸노프, 바리에이션, 수축 함수—를 신경망을 통해 표현하여 학습된 제어기와 함께 종단 간 미분 가능 훈련을 가능하게 한다.
• 인증은 리아푸노프 함수의 경우 음의 정부정 도함수 등의 인증 조건에서 유도된 자기 지도 신호를 사용하여 훈련되며, 외부 보상 함수의 명시적 형태가 필요로 하지 않는다.
• 이 방법은 다항식이 아닌 동역학과 고차원 시스템을 지원하여 합의의 제곱 및 PDE 기반 접근 방식의 한계를 극복한다.
• 강화 학습과 통합되어 인증이 정책 최적화를 암묵적으로 이끌어내며, 훈련 중 안정성과 안전성을 보장한다.
• 이 방법은 검증 가능한 정확성 보장을 제공한다: 훈련된 신경 인증은 해당 제어기에 대해 시스템의 안정성 또는 안전성을 수학적으로 증명한다.
• 조합적 검증 및 그래프 신경망은 이 프레임워크를 이질적이고 분산된 다중 에이전트 시스템으로 확장하기 위해 제안된다.

실험 결과

연구 질문

• RQ1 신경망은 비선형 시스템에 대해 검증 가능한 안정성 및 안전 보장을 제공하는 리아푸노프, 바리에이션, 수축 함수를 효과적으로 학습할 수 있는가?
• RQ2 인증 학습은 강화 학습과 어떻게 통합되어 성능과 안전성 보장을 동시에 확보할 수 있는가?
• RQ3 기존의 합의의 제곱 및 PDE 기반 접근 방식의 한계는 무엇이며, 신경 인증은 이를 어떻게 극복하는가?
• RQ4 신경 인증은 이질적인 동역학을 가진 대규모 고차원 또는 다중 에이전트 시스템으로 확장 가능한가?
• RQ5 분산형, 네트워크 기반, 또는 고장 내성 제어 시스템에 신경 인증을 적용할 때의 주요 과제는 무엇인가?

주요 결과

• 신경 인증은 수작업으로 설계된 함수 형태나 다항식 동역학이 필요 없이도 비선형 시스템에 대해 검증 가능한 안전성 및 안정성 보장을 제공한다.
• 이 프레임워크는 자기 지도 학습을 지원하며, 인증 조건 자체가 지도 신호를 제공함으로써 외부 보상 함수에 대한 의존도를 감소시킨다.
• 이 방법은 불확실성 하에서의 안정적 보행, 난류 환경에서의 큼포트로터 비행, 1,000개 이상의 에이전트에 대한 탈중앙화 제어와 같은 복잡한 작업에 성공적으로 적용되었다.
• 신경 인증은 기존 방법보다 확장성과 일반성 면에서 뛰어나며, 고차원 PDE를 해결하는 데서 발생하는 계산의 비가역성 문제나 합의의 제곱 프로그래밍의 제한적인 가정을 피한다.
• 이 방법은 실제 로봇 공학 애플리케이션에서 신뢰할 수 있는 학습 기반 제어로 향하는 실용적인 길을 제공하며, 강력한 이론적 기반과 경험적 검증을 바탕으로 한다.
• 향후 연구는 이 프레임워크를 이질적 다중 에이전트 시스템, 지연이 있는 분산 제어, 고장 내성 아키텍처로 확장하기 위해 필요하다.