[논문 리뷰] On Learning the Dynamical Response of Nonlinear Control Systems with Deep Operator Networks

Guang Li, Christian Moya외 1명|arXiv (Cornell University)|2022. 06. 14.

Model Reduction and Neural Networks인용 수 6

한 줄 요약

이 논문은 시간에 따라 변화하는 입력을 가진 비선형 비자율 제어 시스템의 장기적인 동적 반응을 학습하기 위해 DeepONet 기반 프레임워크를 제안한다. DeepONet을 사용해 국소 해석 연산자를 근사하고, 데이터 기반 Runge-Kutta 방법과 함께 반복적으로 적용함으로써, 복잡한 궤적에 대해 정확하고 데이터 효율적인 예측을 달성한다. 이는 개미-개비, 진자, 카트폴, 전력 시스템 모델에서 입증되었으며, 소규모 데이터셋에서도 상대적 $L_2$ 오차가 1.1% 이하였다.

ABSTRACT

We propose a Deep Operator Network~(DeepONet) framework to learn the dynamic response of continuous-time nonlinear control systems from data. To this end, we first construct and train a DeepONet that approximates the control system's local solution operator. Then, we design a numerical scheme that recursively uses the trained DeepONet to simulate the control system's long/medium-term dynamic response for given control inputs and initial conditions. We accompany the proposed scheme with an estimate for the error bound of the associated cumulative error. Furthermore, we design a data-driven Runge-Kutta~(RK) explicit scheme that uses the DeepONet forward pass and automatic differentiation to better approximate the system's response when the numerical scheme's step size is sufficiently small. Numerical experiments on the predator-prey, pendulum, and cart pole systems confirm that our DeepONet framework learns to approximate the dynamic response of nonlinear control systems effectively.

연구 동기 및 목표

• 복잡한 동적 시스템에서 제어 및 최적화를 위한 고정밀 수치 시뮬레이션의 계산 비용을 해결하기 위해.
• 기존 신경망의 장기 예측 한계, 특히 소규모 데이터셋에서의 오차 누적 및 과적합 문제를 극복하기 위해.
• 출력을 이산화하지 않고도 비자율 동적 시스템의 해석 연산자를 직접 근사하는 데이터 기반 연산자 학습 프레임워크를 개발하기 위해.
• 제한된 훈련 데이터를 사용하여 중장기 예측에 대해 정확하고 재귀적인 시스템 궤적 예측을 가능하게 하기 위해.
• DeepONet을 데이터 기반 Runge-Kutta 방법과 통합하여 작은 시간 간격에서의 정확도를 향상시키기 위해.

제안 방법

• 이 방법은 초기 조건과 시간에 따라 변화하는 입력을 시스템 상태 궤적(소규모 시간 간격 내)으로 매핑하는 국소 해석 연산자를 근사하기 위해 DeepONet을 훈련시킨다.
• 훈련된 DeepONet을 연속적인 시간 단계에 걸쳐 반복적으로 적용하여 장기적·중기적 시스템 반응을 시뮬레이션한다.
• 재귀적 예측 기반의 누적 오차에 대한 이론적 오차 한계를 유도한다.
• DeepONet의 전방 전파와 자동 미분을 활용해 벡터 필드를 추정하는 데이터 기반 Runge-Kutta(RK) 방법을 제안하며, 이는 작은 단계 크기에서 정확도를 향상시킨다.
• 자율 및 비자율 시스템, 특히 혼돈 시스템과 전력 시스템과 같은 실제 공학적 응용 분야에 프레임워크를 적용한다.
• 훈련 데이터셋은 수치 시뮬레이션에서 유도된 보간된 센서 데이터와 시계열 궤적을 사용하며, 입력으로는 초기 상태, 시간에 따라 변화하는 입력, 샘플링 위치가 포함된다.

실험 결과

연구 질문

• RQ1 DeepONet는 시간에 따라 변화하는 입력을 가진 비선형 비자율 동적 시스템의 해석 연산자를 효과적으로 학습하여 장기 예측을 수행할 수 있는가?
• RQ2 훈련된 DeepONet를 재귀적으로 적용했을 때, 기준 방법 대비 장기 예측 시간 범위에서 정확도와 오차 누적 측면에서 성능은 어떠한가?
• RQ3 DeepONet의 전방 전파와 자동 미분을 활용하는 데이터 기반 Runge-Kutta 방법은 작은 시간 간격에서 정확도를 향상시킬 수 있는가?
• RQ4 제한된 훈련 데이터에서 기존 모델이 과적합되거나 휘청이는 상황에서 이 방법은 어떻게 성능을 발휘하는가?
• RQ5 이 프레임워크는 현실적인 교란 요소가 존재하는 전력망과 유체역학과 같은 복잡한 공학 시스템으로 확장 가능한가?

주요 결과

• 제안된 재귀적 DeepONet 프레임워크는 소규모 훈련 데이터셋(30,000개 샘플)을 사용함에도 불구하고 100개의 테스트 궤적에서 평균 $L_2$-상대 오차가 1.1% 이하로 달성되었다.
• 검토된 벤치마크 중에서 이전 신경망 방법과 앙상블 기반 접근법을 포함하여, 재귀적 DeepONet는 도전적인 진동 궤적을 효과적으로 포착하는 유일한 방법이었다.
• 데이터 기반 Runge-Kutta 방법은 DeepONet의 전방 전파와 자동 미분을 활용해 벡터 필드를 추정함으로써 작은 시간 간격에서 정확도를 크게 향상시켰다.
• 이 프레임워크는 0.01초 간섭이 있는 이중 영역 전력 시스템의 동적 반응을 성공적으로 예측하여, 5초 동안 각도 및 속도 상태를 정확히 추적하였다.
• 재귀적 방법의 누적 오차에 대한 이론적 오차 한계가 도출되었으며, 이는 장기 예측에 대한 신뢰성 보장을 제공한다.
• 특히 훈련 데이터가 부족한 상황에서 기존 방법보다 데이터 효율성과 안정성 면에서 뛰어나, 데이터 확보가 어려운 실제 공학 시스템에 적합하다.