[논문 리뷰] Safe Learning of Quadrotor Dynamics Using Barrier Certificates

Li Wang, Evangelos A. Theodorou외 1명|arXiv (Cornell University)|2017. 10. 16.

Fault Detection and Control Systems참고 문헌 9인용 수 7

한 줄 요약

이 논문은 가우시안 프로세스와 장벽 증명을 사용하여 온라인 학습 중에 고확률 안전성을 보장하는 안전하고 데이터 기반의 학습 프레임워크를 제안한다. 적응형 샘플링과 순환적 GP 추론을 조합함으로써 안정성을 유지하면서도 앞으로 불변인 안전 영역을 확장하여 충돌 없이 과격한 탐색이 가능하며, 3D 시뮬레이션에서 실시간 성능(업데이트당 20ms 이내)을 확보하였다.

ABSTRACT

To effectively control complex dynamical systems, accurate nonlinear models are typically needed. However, these models are not always known. In this paper, we present a data-driven approach based on Gaussian processes that learns models of quadrotors operating in partially unknown environments. What makes this challenging is that if the learning process is not carefully controlled, the system will go unstable, i.e., the quadcopter will crash. To this end, barrier certificates are employed for safe learning. The barrier certificates establish a non-conservative forward invariant safe region, in which high probability safety guarantees are provided based on the statistics of the Gaussian Process. A learning controller is designed to efficiently explore those uncertain states and expand the barrier certified safe region based on an adaptive sampling scheme. In addition, a recursive Gaussian Process prediction method is developed to learn the complex quadrotor dynamics in real-time. Simulation results are provided to demonstrate the effectiveness of the proposed approach.

연구 동기 및 목표

• 실세계 적용에서 알려지지 않은 4축 항공기 동역학의 온라인 학습 중 안전성을 보장하는 데 있어 핵심적인 과제를 해결하기 위해.
• 모델 불확실성과 모델링되지 않은 동역학이 존재하는 상황에서도 고확률 안전 보장을 제공하는 방법을 개발하기 위해.
• 동적으로 확장 가능한 안전 영역을 사용하여 불확실한 상태에 대한 과격한 탐색을 가능하게 하되, 안전 제약을 위반하지 않도록 하기 위해.
• 모든 상태공간 검사를 피하기 위해 장벽 증명 최적화의 계산 비용을 줄이기 위해 적응형 샘플링을 통해 구현하기 위해.
• 순환적 가우시안 프로세스 추론 기반 메커니즘을 통해 복잡한 3D 비선형 동역학의 실시간 학습을 지원하기 위해.

제안 방법

• 모르는 4축 항공기 동역학을 모델링하기 위해 가우시안 프로세스를 사용하여 실시간 학습을 위한 평균 예측과 불확실성 추정(분산)을 제공한다.
• 장벽 증명을 사용하여 모든 궤적이 영구히 유지되는 앞으로 불변인 안전 영역을 정의함으로써, 명시적 도달 가능성 계산 없이도 안전성을 보장한다.
• GP 통계를 사용하여 고확률 안전 보장을 구성하여, 사용자가 지정한 신뢰도로 시스템이 안전 영역 내에 머물도록 보장한다.
• 현재 안전 영역 경계 근처와 높은 불확실성 영역을 우선순위로 삼는 적응형 샘플링 전략을 도입하여 계산 부담을 줄이면서도 안전성을 유지한다.
• 매 반복마다 20ms 이내의 일관된 업데이트 시간을 유지하는 순환적 GP 추론 방법을 개발하여 3D 4축 항공기 동역학의 실시간 온라인 학습에 적합함을 입증한다.
• 학습된 동역학을 미분 평탄성 기반 비행 제어기와 통합하여 탐색 중 궤적 추적 성능을 향상시킨다.

실험 결과

연구 질문

• RQ1 알려지지 않은 비선형 4축 항공기 동역학의 온라인 학습 중에 고확률 안전성을 어떻게 확보할 수 있는가?
• RQ2 장벽 증명을 사용하여 데이터 증가와 불확실성 감소에 따라 진전되는 동적으로 확장 가능한 안전 영역을 정의할 수 있는가?
• RQ3 적응형 샘플링은 장벽 증명 최적화에서 무한한 부등식 제약 조건 검증의 계산 부담을 어떻게 줄일 수 있는가?
• RQ4 모델 불확실성과 액추에이터 제한 조건이 존재하는 상황에서 탐색의 과격함과 안전성 사이의 상충 관계는 어떻게 되는가?
• RQ5 순환적 GP 추론은 복잡한 3D 4축 항공기 동역학을 실시간으로 온라인 학습하는 데 있어 20ms 이내 업데이트 시간을 유지할 수 있는가?

주요 결과

• 제안된 방법은 학습 과정 全 주기 동안 시스템의 안전성을 성공적으로 유지하였으며, 4축 항공기의 장벽 증명 기반 안전 영역을 벗어나지 않았다.
• 안전 영역은 초기 보수적인 증명(μ = 6.3)에서 훨씬 더 과격한 영역(μ = 0.6)으로 확장되어, z방향에서 더 빠르고 동적인 비행이 가능해졌다.
• 적응형 샘플링은 안전 영역 경계 근처와 높은 불확실성 영역(예: 하강 속도 ż > 0)을 우선순위로 삼아 더 효율적인 데이터 수집을 이끌었다.
• 순환적 GP 추론은 매 반복당 일관된 업데이트 시간을 20ms 이내로 유지하여 실시간 온라인 학습에 적합함을 입증하였다.
• 학습 기반 제어기는 비학습 기반 기준 대비 유의미하게 낮은 추적 오차를 기록하였으며, 그림 7에서 이를 확인할 수 있었다.
• 완전한 상태 학습 대비 상태 표현을 단순화한 학습(q′ = [ṙᵀ, θ, φ, ψ]ᵀ)이 더 우수한 확장성을 보였으며, 이는 이 설정에서 위치(r)가 덜 중요한 것으로 나타났다.