[논문 리뷰] Deep Model Predictive Control with Online Learning for Complex Physical Systems

Katharina Bieker, Sebastian Peitz외 3명|arXiv (Cornell University)|2019. 05. 24.

Advanced Control Systems Optimization참고 문헌 28인용 수 34

한 줄 요약

저자는 컨트롤 관련 양을 예측하기 위해 심층 RNN을 사용하는 데이터 기반의 센서 기반 MPC 프레임워크인 DeepMPC를 제시하고, 이를 온라인 업데이트와 통합하여 복잡한 유체 흐름의 실시간 제어를 달성합니다.

ABSTRACT

The control of complex systems is of critical importance in many branches of science, engineering, and industry. Controlling an unsteady fluid flow is particularly important, as flow control is a key enabler for technologies in energy (e.g., wind, tidal, and combustion), transportation (e.g., planes, trains, and automobiles), security (e.g., tracking airborne contamination), and health (e.g., artificial hearts and artificial respiration). However, the high-dimensional, nonlinear, and multi-scale dynamics make real-time feedback control infeasible. Fortunately, these high-dimensional systems exhibit dominant, low-dimensional patterns of activity that can be exploited for effective control in the sense that knowledge of the entire state of a system is not required. Advances in machine learning have the potential to revolutionize flow control given its ability to extract principled, low-rank feature spaces characterizing such complex systems. We present a novel deep learning model predictive control (DeepMPC) framework that exploits low-rank features of the flow in order to achieve considerable improvements to control performance. Instead of predicting the entire fluid state, we use a recurrent neural network (RNN) to accurately predict the control relevant quantities of the system. The RNN is then embedded into a MPC framework to construct a feedback loop, and incoming sensor data is used to perform online updates to improve prediction accuracy. The results are validated using varying fluid flow examples of increasing complexity.

연구 동기 및 목표

• 고차원 유체 흐름에서 저차원 지배 패턴을 활용하여 전체 상태 지식 없이 효과적인 제어를 달성한다.
• 전체 상태가 아닌 제어 관련 양을 예측하는 DeepMPC 아키텍처를 개발한다.
• 들어오는 센서 데이터를 이용해 surrogate 모델을 온라인으로 업데이트하여 실시간 예측 정확성을 향상시킨다.
• 점점 더 복잡해지는 유동-제어 시나리오에서 성능을 입증하고 혼돈 역학에 대한 강건성을 평가한다.

제안 방법

• 관측 가능한 z = f(y)에 대한 예측 지평선 N에서 추적 오차와 제어 노력을 최소화하는 MPC를 형식화한다.
• 지연 좌표를 사용하여 장기 및 현재 동역학을 포착하기 위해 인코더와 디코더로 구성된 심층 순환신경망(RNN)으로 surrogate dynamics를 근사한다.
• 세 단계로 offline에서 RNN을 학습한다: 조건부 제한 볼츠만 머신으로 초기화하고, 1단계 예측을 학습한 뒤, N-단계 디코더를 학습한다.
• RNN을 이용해 지평선을 따라 z를 예측하고 역전파를 통한 시간 역전(backpropagation through time)으로 경사 기반 최적화(BFGS 등)를 통해 MPC 문제를 해결한다.
• 센서 데이터를 동화 assimilating 하여 RNN을 다듬고 전체 상태 정보 의존도를 줄여 온라인 업데이트를 구현한다.

실험 결과

연구 질문

• RQ1 깊은 RNN 대리 모델을 사용한 DeepMPC 프레임워크가 복잡하고 고차원인 유체 흐름에 대해 실시간 성능을 달성할 수 있는가?
• RQ2 센서 데이터로 인한 온라인 학습이 예측 정확도와 제어 성능에 어떻게 영향을 미치는가, 층화된 다양한 역학(층상, 준주기적, 혼돈)에서?
• RQ3 대칭성과 같은 물리적 특징이 데이터 효율성과 제어 강건성을 향상시키는 데 어떤 역할을 하는가?
• RQ4 예측 지평선 길이와 규제가 다양한 레이놀즈 수에서 제어 효과에 어떤 영향을 미치는가?

주요 결과

• DeepMPC 접근법은 실린더 주변의 흐름에서 양력 궤적을 추적하며 여러 레이놀즈 수에서 지정된 제어 성능을 달성한다.
• Re = 100에서 단일 실린더의 경우, 방법은 자연스러운 와류 shedding을 억제하는 효과적인 주기적 제어를 제공한다.
• 유체 핀볼 구성(세 실린더)에서 추적 오차는 Re = 100, 140, 200에서 증가하는 복잡성과 혼돈으로 인해 증가한다.
• 대칭 기반 데이터 증강을 사용하면 Re = 140에서 추적 오차를 크게 줄이고 평균을 거의 절반으로 줄이며 두 번째 양력 신호의 제어를 개선한다.
• 센서 데이터를 이용한 온라인 학습은 추적을 빠르게 개선하고 제어 비용을 감소시켜 피드백 루프에서의 실용적 온라인 적응성을 보여준다.
• 제한된 센서로도 프레임워크가 여전히 실행 가능하며, 전체 상태가 아니라 제어 관련 양에 집중함으로써 더 높은 복잡성에도 확장 가능하며, 추가적인 강건성 강화의 여지가 있다.