[논문 리뷰] Physics-Informed Neural Network Policy Iteration: Algorithms, Convergence, and Verification

Yiming Meng, Ruikun Zhou외 4명|arXiv (Cornell University)|2024. 02. 15.

Neural Networks and Applications인용 수 10

한 줄 요약

이 논문은 비선형 최적 제어를 해결하기 위해 두 가지 신경 정책 반복 알고리즘(ELM-PI 및 PINN-PI)을 도입하고, GHJB/HJB 방정식 수렴을 입증하며 형식적 안정성 검증을 추가한다.

ABSTRACT

Solving nonlinear optimal control problems is a challenging task, particularly for high-dimensional problems. We propose algorithms for model-based policy iterations to solve nonlinear optimal control problems with convergence guarantees. The main component of our approach is an iterative procedure that utilizes neural approximations to solve linear partial differential equations (PDEs), ensuring convergence. We present two variants of the algorithms. The first variant formulates the optimization problem as a linear least square problem, drawing inspiration from extreme learning machine (ELM) for solving PDEs. This variant efficiently handles low-dimensional problems with high accuracy. The second variant is based on a physics-informed neural network (PINN) for solving PDEs and has the potential to address high-dimensional problems. We demonstrate that both algorithms outperform traditional approaches, such as Galerkin methods, by a significant margin. We provide a theoretical analysis of both algorithms in terms of convergence of neural approximations towards the true optimal solutions in a general setting. Furthermore, we employ formal verification techniques to demonstrate the verifiable stability of the resulting controllers.

연구 동기 및 목표

• 전통적인 방법이 어려움을 겪는 고차원 비선형 최적 제어 문제의 해결을 동기화한다.
• PDE 해석기를 통해 일반화된 Hamilton-Jacobi-Bellman(HJB) 방정식을 해결하는 신경 정책 반복 방법을 개발한다.
• HJB 방정식의 점성 해로 수렴에 대한 이론적 보장을 제공한다.
• 제어기의 안정성을 인증하기 위한 형식적 검증 기법을 도입한다.
• 저차원에서 고차원까지의 확장성을 탐구하고 고전적 Galerkin 방법과의 비교를 수행한다.

제안 방법

• 제어 문제를 제어-선형 시스템 및 GHJB/HJB 방정식으로 형식화한다.
• 두 가지 신경 정책 반복 변형을 제안한다: ELM-PI(무작위 은닉층이 있는 선형 최소자승) 및 PINN-PI(물리 정보가 포함된 신경망 접근법).
• ELM-PI는 고정된 무작위 특징 맵을 사용하여 V(x)를 근사화하고 PDE 잔차를 선형 최소자승으로 푼다; 기울기 DV를 사용해 정책을 업데이트한다.
• PINN-PI는 신경망을 사용하여 V_i를 표현하고, 자동 미분을 통해 GHJB 방정식과 경계 조건을 강제하는 잔차 손실을 최적화한다.
• 국부적 선형-2차 행태를 고전적 Riccati 기반 안정성 인사이트와 일치시키는 안정화 보존 손실 항을 도입한다.
• 원점을 둘러싼 신경적 Lyapunov 조건을 검증하기 위해 SMT 솔버를 이용한 형식적 검증 프레임워크를 제공한다.
• 이론적 결과는 정책 반복이 HJB의 점성 해로 수렴함을 보여주며, 신경 근사에 대한 수렴은 완만한 가정하에 확립된다.

실험 결과

연구 질문

• RQ1 GHJB 솔루션의 신경 근사들이 HJB의 점성 해로 수렴할 수 있는가?
• RQ2 신경 정책 반복이 고차원 문제에서도 높은 정확도로 효율적으로 해를 구하고 차원의 저주를 완화할 수 있는가?
• RQ3 신경 정책 반복이 안정화 제어기를 만들고 이를 형식적으로 검증할 수 있는가?
• RQ4 ELM-PI와 PINN-PI를 저차원과 고차원 문제에서 비교하면 어떤 차이가 있는가?
• RQ5 결과 제어기의 안전성을 보장하는 검증 프레임워크가 있는가?

주요 결과

• 신경 근사를 이용한 정책 반복이 HJB 방정식의 점성 해로 수렴한다.
• ELM-PI는 저차원 문제에서 높은 정확도와 빠른 풀이로 두각을 나타내고, PINN-PI는 고차원에 더 잘 확장된다.
• PINN-PI는 고차원에서 경쟁력 있는 정확도를 달성할 수 있으며 특정 설정에서 전통적인 Galerkin 기반 PDE 해법을 능가한다.
• 안정성 중심 제약이 없으면 PINN-PI가 불안정한 제어기를 만들어낼 수 있으며, 안전-핵심 사용을 위해서는 형식적 검증이 필요하다.
• 선형-2차 근사에 기초한 안정성 보존 손실 항이 학습과 고차원에서의 안정화를 개선한다.
• 저자들은 정확한 PI에 대한 수렴 분석을 제시하고, 실용적 조건하에서 신경 PI의 수렴 프레임워크를 제공한다.