[논문 리뷰] Flexible development and evaluation of machine-learning-supported optimal control and estimation methods via HILO-MPC

Johannes Pohlodek, Bruno Morabito외 3명|arXiv (Cornell University)|2022. 03. 25.

Advanced Control Systems Optimization인용 수 10

한 줄 요약

이 논문은 기계학습과 모델 기반 최적 제어 및 추정을 원활하게 통합할 수 있는 오픈소스 파이썬 툴박스인 HILO-MPC를 소개한다. 파이토치, 텐서플로우 및 고유의 가우시안 프로세스 학습 기법을 활용하여 기계학습 강화 최적 제어 및 추정 문제의 유연하고 효율적이며 모듈러한 구현을 가능하게 하며, 궤적 추적부터 이동 평균 추정까지 다양한 응용 분야를 지원한다. 또한 선형 시스템에 대해 임베디드 코드 생성을 지원한다.

ABSTRACT

Model-based optimization approaches for monitoring and control, such as model predictive control and optimal state and parameter estimation, have been used for decades in many engineering applications. Models describing the dynamics, constraints, and desired performance criteria are fundamental to model-based approaches. Thanks to recent technological advancements in digitalization, machine learning methods such as deep learning, and computing power, there has been an increasing interest in using machine learning methods alongside model-based approaches for control and estimation. The number of new methods and theoretical findings using machine learning for model-based control and optimization is increasing rapidly. This paper outlines the basic ideas and principles behind an easy-to-use Python toolbox that allows to quickly and efficiently solve machine-learning-supported optimization, model predictive control, and estimation problems. The toolbox leverages state-of-the-art machine learning libraries to train components used to define the problem. It allows to efficiently solve the resulting optimization problems. Machine learning can be used for a broad spectrum of tasks, ranging from model predictive control for stabilization, setpoint tracking, path following, and trajectory tracking to moving horizon estimation and Kalman filtering. For linear systems, it enables quick code generation for embedded MPC applications. HILO-MPC is flexible and adaptable, making it especially suitable for research and fundamental development tasks. Due to its simplicity and numerous already implemented examples, it is also a powerful teaching tool. The usability is underlined, presenting a series of application examples.

연구 동기 및 목표

• 기계학습 보강 최적 제어 및 추정 방법을 개발하고 평가하기 위한 유연하고 오픈소스 도구의 부족을 해결하기 위해.
• 학습된 기계학습 모델(신경망, 가우시안 프로세스)을 최적화 기반 제어 및 추정 프레임워크에 원활하게 통합할 수 있도록 하기 위해.
• 하이브리드 모델-학습 동역학을 사용하여 모델 예측 제어, 이동 평균 추정, 칼만 필터링 분야의 빠른 프로토타이핑 및 연구를 지원하기 위해.
• 연구 및 교육 응용 분야에서 제어 시스템 분야에 대한 모듈러하고 확장 가능하며 사용자 友好的 인터페이스를 제공하기 위해.
• 특히 선형 시스템에 대해 임베디드 MPC 응용 분야의 효율적인 코드 생성을 촉진하기 위해.

제안 방법

• 기계학습 구성 요소를 포함한 최적 제어 및 추정 문제를 정의하기 위해 고수준 파이썬 인터페이스를 사용한다.
• 시스템 동역학, 제약 조건 또는 목적 함수에 사용되는 딥 신경망 학습을 위해 파이토치 및 텐서플로우와 통합한다.
• 시스템 동역학 또는 불확실성 모델링을 위해 고유의 코드를 사용해 가우시안 프로세스 학습을 수행한다.
• 문제 정의에 직접 통합된 방식으로 학습된 기계학습 모델을 최적화 문제 내에서 사용할 수 있도록 한다.
• 안정화, 목표값 추적, 경로 추종과 같은 다양한 제어 및 추정 작업을 지원한다.
• 특히 선형 시스템에 대해 임베디드 MPC 응용 분야의 자동 코드 생성을 지원하여 실시간 구현 가능성을 높인다.

실험 결과

연구 질문

• RQ1 기계학습 모델은 모델 기반 최적 제어 및 추정 프레임워크에 어떻게 효율적이고 유연하게 통합될 수 있는가?
• RQ2 학습된 동역학(예: 신경망, 가우시안 프로세스)은 MPC 및 추정 알고리즘의 성능 및 안정성에 어떤 영향을 미치는가?
• RQ3 통합된 오픈소스 툴박스는 다양한 응용 분야에서 하이브리드 모델-학습 제어 전략의 개발 및 평가를 어떻게 단순화할 수 있는가?
• RQ4 특히 선형 시스템에 대해 임베디드 코드 생성을 통해 툴박스는 실시간 배포를 어느 정도 지원할 수 있는가?
• RQ5 HILO-MPC의 모듈러성 및 사용 용이성은 제어 시스템 분야의 연구 및 교육 응용 분야에서 어떻게 지원하는가?

주요 결과

• HILO-MPC는 모듈러하고 고수준의 파이썬 인터페이스를 통해 기계학습 강화 최적 제어 및 추정 방법의 빠른 프로토타이핑 및 평가를 가능하게 한다.
• 이 툴박스는 성공적으로 학습된 신경망과 가우시안 프로세스를 MPC 및 추정 문제에 통합하여 궤적 추적, 이동 평균 추정 등 다양한 응용 분야를 지원한다.
• 선형 시스템의 경우, HILO-MPC는 임베디드 MPC를 위한 C/C++ 코드 자동 생성을 지원하여 자원 제약이 있는 플랫폼에 실시간 배포를 가능하게 한다.
• 프레임워크는 뛰어난 사용성과 확장성을 입증하였으며, 연구 및 교육 분야에서의 활용을 촉진하는 수많은 사전 구현 예제를 제공한다.
• 기존의 기계학습 라이브러리와 최적화 솔버를 활용함으로써 개발 오버헤드를 줄이고 오류 발생 가능성이 높은 수동 구현 방식을 최소화한다.
• 다양한 제어 및 추정 작업, 비선형 및 제약 조건이 있는 시스템을 포함한 여러 응용 예제를 통해 툴박스의 유효성이 검증되었다.