[논문 리뷰] Constrained Physics-Informed Deep Learning for Stable System Identification and Control of Unknown Linear Systems.

Ján Drgoňa, Aaron Tuor외 1명|arXiv (Cornell University)|2020. 04. 23.

Advanced Control Systems Optimization참고 문헌 97인용 수 6

한 줄 요약

이 논문은 부분적인 동역학 지식과 다목적 손실 함수를 활용하여 미지의 선형 시스템의 안정적인 시스템 식별 및 제어를 위한 제약 조건이 부여된 물리 기반 딥 러닝 프레임워크를 제안한다. 이는 시스템 식별, 정책 학습, 공동 학습 과제에서 높은 샘플 효율성, 불확실성에 대한 강건성, 안정성 보장을 달성하며, LQR, LQI, MPC 방법보다 추적 성능, 강건성, 계산 효율성에서 뛰어나다.

ABSTRACT

This work has been submitted to the IEEE for possible publication. Copyright may be transferred without notice, after which this version may no longer be accessible. This paper presents a novel data-driven method for learning deep constrained continuous control policies and dynamical models of linear systems. By leveraging partial knowledge of system dynamics and constraint enforcing multi-objective loss functions, the method can learn from small and static datasets, handle time-varying state and input constraints and enforce the stability properties of the controlled system. We use a continuous control design example to demonstrate the performance of the method on three distinct tasks: system identification, control policy learning, and simultaneous system identification and policy learning. We assess the system identification performance by comparing open-loop simulations of the true system and the learned models. We demonstrate the performance of the policy learning methodology in closed-loop simulations using the system model affected by varying levels of parametric and additive uncertainties. We report superior performance in terms of reference tracking, robustness, and online computational and memory footprints compared with classical control approaches, namely LQR and LQI controllers, and with three variants of model predictive control (MPC) formulations and two traditional MPC solution approaches. We then evaluate the potential of simultaneously learning the system model and control policy. Our empirical results demonstrate the effectiveness of our unifying framework for constrained optimal control of linear systems to provide stability guarantees of the learned dynamics, robustness to uncertainty, and high sampling efficiency.

연구 동기 및 목표

• 전체 시스템 지식이 가용하지 않을 때, 제한된 정적 데이터셋으로부터 안정적이고 강건한 제어 정책과 동역학 모델을 학습하는 데 도전한다.
• 선형 시스템을 위한 통합된 딥 러닝 프레임워크에 시스템 동역학 제약 조건과 시간에 따라 변하는 상태/입력 제약 조건을 통합한다.
• 모델 매개변수 및 추가적인 불확실성 하에서 학습된 시스템 모델과 제어 정책의 안정성과 강건성을 보장한다.
• 전통적 제어 및 MPC 방법에 비해 높은 샘플 효율성과 낮은 계산/메모리 오버헤드를 달성한다.
• 단일 통합 프레임워크 내에서 시스템 식별과 제어 정책 학습의 타당성과 우수성을 입증한다.

제안 방법

• 학습 중에 알려진 시스템 동역학, 시간에 따라 변하는 제약 조건, 안정성 특성을 강제하는 다목적 손실 함수를 수립한다.
• 물리 기반 신경망(PINNs)을 제약 최적화와 통합하여 시스템 동역학과 안정성 조건을 모델 아키텍처에 직접 통합한다.
• 연속 제어 설계를 통해 딥 뉴럴 네트워크를 통합형 엔드 투 엔드 프레임워크에서 동역학 모델과 제어 정책 모두로 작동하도록 훈련한다.
• 손실 함수에 라플라스 유사 제약 조건을 통합하여 학습된 시스템 동역학이 안정성을 유지하도록 보장한다.
• 손실 함수에 시스템 구조에 대한 사전 지식를 통합하여 소규모 정적 데이터셋을 효율적으로 활용함으로써 샘플 효율성을 향상시킨다.
• 폐쇄 루프 및 개방 루프 평가를 통해 세 가지 과제에 적용: 시스템 식별, 제어 정책 학습, 동시 시스템 식별 및 정책 학습.

실험 결과

연구 질문

• RQ1 물리 기반 제약 조건이 부여된 딥 러닝 프레임워크는 알려지지 않은 선형 시스템의 소규모 정적 데이터셋으로부터 안정적인 시스템 식별을 달성할 수 있는가?
• RQ2 제안된 방법은 LQR, LQI와 같은 고전적 제어 방법과 MPC 변종에 비해 불확실성 하에서 참조 추적 및 강건성 측면에서 어떻게 비교되는가?
• RQ3 이 프레임워크는 안정성과 제약 조건 이행을 동시에 강제하면서 얼마나 정확한 시스템 모델과 효과적인 제어 정책을 공동으로 학습할 수 있는가?
• RQ4 손실 함수에 안정성과 제약 조건 이행을 직접 통합함으로써 모델 일반화와 계산 효율성에 어떤 영향을 미치는가?
• RQ5 시스템 동역학에서 매개변수적 및 추가적인 불확실성이 다양하게 변화할 경우, 이 방법은 어떻게 성능을 발휘하는가?

주요 결과

• 제안된 방법은 고도의 불확실성 수준에서도 LQR, LQI, MPC 수식에 비해 뛰어난 참조 추적 성능을 달성한다.
• 이 프레임워크는 매개변수적 및 추가적인 불확실성에 대해 강력한 강건성을 보이며, 다양한 테스트 조건에서 안정적인 폐쇄 루프 행동을 유지한다.
• 기존의 MPC 접근 방식에 비해 온라인 계산 및 메모리 오버헤드가 크게 낮아져 실시간 적용이 가능하다.
• 개방 루프 시뮬레이션을 통한 시스템 식별 성능 검증 결과, 진짜 시스템과 학습된 모델 간의 밀도 있는 일치가 확인되었다.
• 시스템 모델과 제어 정책의 공동 학습은 가능하고 효과적이며, 프레임워크는 훈련 전반에 걸쳐 안정성과 제약 조건 이행을 유지한다.
• 제약 조건이 부여된 다목적 손실 함수의 사용은 높은 샘플 효율성을 가능하게 하여 소규모 데이터셋에서 정확한 모델 및 정책 학습을 가능하게 한다.