[논문 리뷰] Imitation Learning with Stability and Safety Guarantees

He Yin, Peter Seiler외 2명|arXiv (Cornell University)|2020. 12. 16.

Fault Detection and Control Systems참고 문헌 23인용 수 7

한 줄 요약

이 논문은 유한한 안정성과 안전성 보장을 갖춘 신경망 컨트롤러를 학습 목표에 볼록 라플라스 기반 조건과 국소적 2차 제약 조건을 통합하여 학습하는 새로운 이민레이닝 프레임워크를 제안한다. 이 방법은 ADMM 기반 최적화를 통해 이민레이닝 손실을 최소화하고 동시에 안정 영역(ROA)의 크기를 최대화하여, 진자, 항공기, 차량 제어 과제에서 전문가 정책보다 향상된 내성적 안정성을 확보한다.

ABSTRACT

A method is presented to learn neural network (NN) controllers with stability and safety guarantees through imitation learning (IL). Convex stability and safety conditions are derived for linear time-invariant plant dynamics with NN controllers by merging Lyapunov theory with local quadratic constraints to bound the nonlinear activation functions in the NN. These conditions are incorporated in the IL process, which minimizes the IL loss, and maximizes the volume of the region of attraction associated with the NN controller simultaneously. An alternating direction method of multipliers based algorithm is proposed to solve the IL problem. The method is illustrated on an inverted pendulum system, aircraft longitudinal dynamics, and vehicle lateral dynamics.

연구 동기 및 목표

• 비선형 제어 정책에 대한 딥 이민레이닝에서의 안정성 및 안전성 보장의 부족을 해결하기 위해.
• 신경망으로 제어되는 선형 시간 불변(LTI) 시스템에 대해 라플라스 기반 안정성 및 안전성 조건을 다룰 수 있는 실용적이고 볼록적인 공식화를 개발하기 위해.
• 안정성 및 안전성 제약 조건을 직접 이민레이닝 목표 함수에 통합하여 정책 정확도와 내성적 안정성의 균형을 이루기 위해.
• 전문가 정책보다 더 큰 안정 영역을 갖는 신경망 컨트롤러를 합성함으로써 실용적 제어 과제에서의 성능 향상을 위해.

제안 방법

• 딥 신경망의 ReLU 및 tanh 활성화 함수를 근사하기 위해 라플라스 이론과 국소 섹터 기반 2차 제약 조건을 조합하여 볼록 안정성 및 안전성 조건을 유도한다.
• 이민레이닝 손실을 최소화하고 안정 영역(ROA)의 내부 근사 영역 부피를 최대화하는 이중 목표 최적화 문제를 제안한다.
• 이전 연구에서 유도된 비볼록 안정성 조건을 선형 전환을 통해 볼록화하여 학습 중에 효율적으로 적용할 수 있도록 한다.
• 제약 조건이 있는 이민레이닝 문제를 해결하기 위해 수렴 보장이 있는 분할 역할 다중승수 방법(ADMM) 알고리즘을 사용한다.
• 신경망 컨트롤러를 두 층의 피드포워드 네트워크로 매개변수화하고, tanh 또는 ReLU 활성화 함수를 사용하며, 안전성 제약 조건을 대칭 다면체 상태 집합으로 설정한다.
• 양의 정부호 행렬 변수를 통해 ROA의 타원체 내부 근사화를 수행하여 부피 최대화를 실현 가능한 형태로 변환한다.

실험 결과

연구 질문

• RQ1 선형 시간 불변 시스템에서 신경망 컨트롤러의 안정성 및 안전성을 보장하는 볼록적이고 실용적인 조건을 유도할 수 있는가?
• RQ2 정책 정확도를 희생시키지 않고 안정성 및 안전성 제약 조건을 이민레이닝 목표 함수에 통합할 수 있는가?
• RQ3 제안된 방법은 전문가 정책보다 더 큰 안정 영역을 갖는 신경망 컨트롤러를 생성할 수 있는가?
• RQ4 이민레이닝 정확도와 ROA 크기 사이의 상충 관계가 실용적 제어 과제에서 제어 성능에 미치는 영향은 어느 정도인가?

주요 결과

• 역퍼운드 펜듈럼과 항공기 종방향 역학 예제에서, 제안된 방법은 전문가 LQR 정책보다 신경망 컨트롤러의 안정 영역(ROA) 내부 근사 영역을 더 크게 확보한다.
• GTM 항공기 예제에서, η₂ = 20(더 높은 ROA 강조)일 경우의 신경망 컨트롤러 ROA 부피는 η₂ = 5일 경우보다 더 크지만, 이는 이민레이닝 정확도가 낮아지는 것으로 나타났다.
• 차량 횡방향 제어 예제에서는 η₂ = 500일 경우의 ROA 부피(663, det(Q₁))가 η₂ = 100일 경우의 543보다 더 크게 확인되었으며, 이는 높은 η₂ 값에서 더 큰 ROA를 확보함을 확인한다.
• 더 큰 ROA를 확보함에도 불구하고, η₂ = 500일 경우의 이민레이닝 오차는 Frobenius 노름으로 0.08로 나타났고, η₂ = 100일 경우는 0.14로 더 높아, 내성적 안정성과 정확도 사이의 상충 관계를 확인한다.
• 모든 실험에서 ADMM 알고리즘이 20회 반복 이내에 수렴하여 계산적 타당성을 입증하였다.
• 신경망 컨트롤러는 랩탑에서 500단계당 0.011~0.012초의 시간이 소요되었으며, 명시적 MPC 법칙(0.38초)보다 훨씬 빠르게 동작하여 실시간 적용 가능성을 입증하였다.