[논문 리뷰] Physics-Informed Neural Nets for Control of Dynamical Systems

Eric Aislan Antonelo, Eduardo Camponogara외 4명|arXiv (Cornell University)|2021. 04. 06.

Model Reduction and Neural Networks인용 수 8

한 줄 요약

이 논문은 제어 입력과 초기 상태를 연속 시간 신경망에 통합함으로써 장기 예측과 실시간 모델 예측 제어(MPC)를 가능하게 하는 새로운 PINN 기반 아키텍처인 물리정보 신경망을 위한 제어(PINC)를 제안한다. 이는 예측 품질 저하 없이 장기 예측을 수행할 수 있도록 한다. 이 프레임워크는 수치적 방법 대비 최대 30% 빠른 ODE 시뮬레이션을 가능하게 하며, 물리 법칙과 희소 데이터를 결합하여 샘플 효율적인 시스템 식별을 실현한다.

ABSTRACT

Physics-informed neural networks (PINNs) impose known physical laws into the learning of deep neural networks, making sure they respect the physics of the process while decreasing the demand of labeled data. For systems represented by Ordinary Differential Equations (ODEs), the conventional PINN has a continuous time input variable and outputs the solution of the corresponding ODE. In their original form, PINNs do not allow control inputs, neither can they simulate for variable long-range intervals without serious degradation in their predictions. In this context, this work presents a new framework called Physics-Informed Neural Nets for Control (PINC), which proposes a novel PINN-based architecture that is amenable to control problems and able to simulate for longer-range time horizons that are not fixed beforehand, making it a very flexible framework when compared to traditional PINNs. Furthermore, this long-range time simulation of differential equations is faster than numerical methods since it relies only on signal propagation through the network, making it less computationally costly and, thus, a better alternative for simulation of models in Model Predictive Control. We showcase our proposal in the control of two nonlinear dynamic systems: the Van der Pol oscillator and the four-tank system.

연구 동기 및 목표

• 기본 PINN의 제어 응용 분야에서의 한계, 즉 제어 입력 통합 부족과 장기 예측 성능 열 劣를 해결하기 위해.
• 변동 가능한 길이의 시간 구간을 지원함으로써 PINN을 모델 예측 제어(MPC)의 예측 모델로 활용할 수 있도록 하기 위해.
• 대규모 레이블 데이터셋에 의존도를 줄이기 위해 물리 법칙과 희소 실측 데이터를 융합하여 효율적인 시스템 식별을 가능하게 하기 위해.
• 반복적인 수치적 ODE 해법기 대신 단일 패assing 신경망 추론으로 동적 시스템의 시뮬레이션 속도를 향상시키기 위해.
• 비선형적이고 복잡한 시스템에 대한 산업 제어 문제에 PINN의 적용 범위를 확장하기 위해.

제안 방법

• 기본 PINN 아키텍처에 연속 시간 $t$, 초기 상태 $\mathbf{y}_0$, 제어 입력 $\mathbf{u}(t)$를 추가로 입력으로 통합한다.
• 손실 함수를 설정하여 ODE 시스템 잔차를 포함함으로써, 신경망 출력이 지배 방정식을 만족하도록 보장한다.
• 다중 쇼팅 기반 접근법을 사용하여, 초기 상태와 제어 입력을 조건으로 하여 짧은 시간 간격 동안의 해를 예측하도록 네트워크를 훈련시킨다.
• 물리적 제약 조건(잔차 손실을 통해)과 희소한 초기 조건 데이터를 결합하여 복합 손실 함수를 최소화함으로써 네트워크를 훈련시킨다.
• 훈련된 PINC 네트워크를 실시간 제어를 위한 MPC 프레임워크 내에서 빠르고 미분 가능성이 있는 시뮬레이터로 활용한다.
• 정밀한 훈련을 위해 L-BFGS와 같은 최적화 기법을 적용하고, 경량 연결(skip connections)과 같은 아키텍처 개선 기법을 탐색하여 기울기 흐름과 모델 정확도를 향상시킨다.

실험 결과

연구 질문

• RQ1 PINN 기반 아키텍처가 제어 입력을 지원하고 성능 저하 없이 장기 예측을 수행할 수 있는가?
• RQ2 전통적 수치적 ODE 해법기와 비교했을 때 PINC 프레임워크의 시뮬레이션 속도와 정확도는 어떠한가?
• RQ3 고정되지 않은 다양한 시간 간격에 대해 PINC 네트워크가 정확도를 얼마나 잘 유지하는가?
• RQ4 시스템 파라미터나 초기 조건의 모델링 오차 및 불확실성에 대해 PINC 프레임워크는 얼마나 강건한가?
• RQ5 물리 법칙을 활용함으로써 희소한 레이블 데이터로도 효과적인 모델 예측 제어(MPC)를 수행할 수 있는가?

주요 결과

• PINC 프레임워크는 표준 PINN와 달리, 고정되지 않은 시간 간격에서 장기 예측을 수행함에도 불구하고 예측 품질 저하 없이 정확한 ODE 시뮬레이션을 가능하게 한다.
• 훈련된 PINC 네트워크를 사용한 시뮬레이션은 전통적 수치적 ODE 해법기 대비 평균적으로 최대 30% 더 빠르며, PDE 시나리오에서는 10배의 속도 향상 가능성이 있다.
• 프레임워크는 반도체 진동자와 네 탱크 시스템의 MPC 제어를 성공적으로 수행했으며, $k_1$, $k_2$에 5% 오차가 있는 경우에도 안정적인 성능을 유지했다.
• PINC 네트워크는 초기 조건의 변동에 대해 강건성을 보였으며, 151회의 MPC 실행에서 네트워크 깊이(5층 및 8층)에 관계없이 일관된 성능을 기록했다.
• L-BFGS 최적화와 스킵 연결의 사용은 특히 깊은 아키텍처에서 훈련 수렴과 모델 정밀도를 크게 향상시켰다.
• 초기 조건 데이터만으로도 효과적인 제어를 달성했으며, 이는 희소한 실측 데이터를 추가로 통합할 경우 훈련 속도 향상과 정확도 향상이 가능할 수 있음을 시사한다.