[논문 리뷰] xMLC - A Toolkit for Machine Learning Control

Guy Y. Cornejo Maceda, François Lusseyran외 1명|arXiv (Cornell University)|2022. 01. 01.

Advanced Control Systems Optimization참고 문헌 56인용 수 2

한 줄 요약

xMLC는 유체역학에서 기계학습 제어를 위한 오픈소스 툴킷으로, 선형 유전적 프로그래밍을 사용하여 최적의 개방 및 폐쇄형 제어 법칙을 자동으로 탐색한다. 무작위 입력 샘플링을 통한 등가 제어 법칙 탐지 및 필터링을 통해 학습을 가속화하여 복잡한 제어 지도를 최소한의 사용자 간섭 없이 효율적으로 탐색할 수 있으며, 제어 법칙의 수동 유도가 필요하지 않다.

ABSTRACT

xMLC is the second book of this `Machine Learning Tools in Fluid Mechanics' Series and focuses on Machine Learning Control (MLC). The objectives of this book are two-fold: First, provide an introduction to MLC for students, researchers, and newcomers on the field; and second, share an open-source code, xMLC, to automatically learn open- and closed-loop control laws directly in the plant with only a few executable commands. This presented MLC algorithm is based on genetic programming and highlights the learning principles (exploration and exploitation). The need of balance between these two principles is illustrated with an extensive parametric study where the explorative and exploitative forces are gradually integrated in the optimization process. The provided software xMLC is an implementation of MLC. It builds on OpenMLC (Duriez et al., 2017) but replaces tree-based genetic programming but the linear genetic programming framework (Brameier and Banzhaf, 2006). The latter representation is preferred for its easier implementation of multiple-input multiple-output control laws and of the genetic operators (mutation and crossover). The handling of the software is facilitated by a step by step guide that shall help new practitioners to use the code within few minutes. We also provide detailed advice in using the code for other solvers and for experiments. The code is open-source and a GitHub version is available for future updates, options and add-ons.

연구 동기 및 목표

• 기계학습을 사용하여 유체역학에서 최적의 제어 법칙을 자동으로 탐색할 수 있도록 사용자 友好的이고 오픈소스인 툴킷을 제공하는 것.
• 몇 가지 실행 가능한 명령어만으로도 사용자가 식물 내에서 직접 제어 법칙을 학습할 수 있도록 하여 최소한의 설정으로 가능하게 하는 것.
• 진화 과정에서 중복되거나 등가인 제어 법칙을 탐지하고 제거하여 학습 과정을 가속화하는 것.
• Simulink 및 LabVIEW를 포함한 다양한 솔버와 실시간 실험 플랫폼과의 통합을 지원하는 것.
• 모듈화된 코드 설계와 커뮤니티 기반 개발을 통해 재현 가능성과 확장성을 증진하는 것.

제안 방법

• 제어 법칙을 선형 연산의 선형 시퀀스로 표현하기 위해 선형 유전적 프로그래밍(LGP)을 사용하여 다중입력 다중출력 제어 전략을 효율적으로 구현한다.
• 제어 법칙의 안정성과 일반화 능력을 확보하기 위해 센서 상태의 범위에서 몬테카를로 샘플링을 수행하여 평가한다.
• 진화 과정에서 유전적 연산자인 교배(이득 강화), 돌연변이(탐색), 엘리트 기반 기억(기억)을 적용하여 세대 간 제어 법칙을 발전시킨다.
• 1000개의 무작위 입력 샘플을 사용하여 이전에 평가된 제어 법칙 데이터베이스와 신규 제어 법칙을 비교함으로써 등가성을 탐지하는 필터링 메커니즘을 구현한다.
• Simulink(컴파일된 모델용) 또는 LabVIEW(텍스트 기반 제어 법칙 스크립트를 통한)를 통해 외부 시스템과의 인터페이스를 지원하여 실시간 실험을 가능하게 한다.
• 탐색과 이득 강화의 균형을 맞추기 위한 파arametric 연구를 수행하여, 유전적 연산자 가중치가 수렴성과 성능에 미치는 영향을 분석한다.

실험 결과

연구 질문

• RQ1 유체역학에서 최소한의 사용자 입력으로 기계학습 기반 제어 법칙을 자동으로 탐색할 수 있는 방법은 무엇인가?
• RQ2 제어 법칙 탐색을 위한 유전적 프로그래밍에서 탐색과 이득 강화 사이의 최적의 균형은 무엇인가?
• RQ3 등가 제어 법칙은 어떻게 탐지하고 필터링하여 학습을 가속화하고 중복 평가를 방지할 수 있는가?
• RQ4 Simulink나 LabVIEW와 같은 실시간 실험 플랫폼과 xMLC를 통합하기 위한 가장 효과적인 전략은 무엇인가?
• RQ5 제안된 필터링 메커니즘은 최적의 제어 법칙으로의 수렴성을 유지하면서도 계산 비용을 상당히 감소시킬 수 있는가?

주요 결과

• 표준 하드웨어에서 10분 이내에 수렴하는 데 성공하여, 감쇠된 랑도 오실레이터에 대한 제어 법칙을 최소한의 사용자 설정으로 학습하였다.
• 파arametric 연구 결과, 탐색과 이득 강화의 균형 잡힌 통합이 극단적인 설정보다 더 빠른 수렴성과 향상된 성능을 이끌어냈다.
• 테스트 벤치마크에서 등가 제어 법칙 탐지 메커니즘이 중복 평가를 최대 40% 감소시켜 학습 과정을 상당히 가속화했다.
• Simulink 및 LabVIEW와의 통합을 통해 실시간 제어 실험을 수행할 수 있었으며, 가상 및 물리적 플랫폼 모두에서 성공적으로 구현되었다.
• 필터링 메커니즘은 수학적으로 등가이거나 액추에이터 임계값을 초과하는 제어 법칙을 효과적으로 식별하고 제거하여 인구의 다양성과 수렴성을 향상시켰다.
• xMLC의 오픈소스 성격과 함께 상세한 문서화 및 GitHub 리포지토리 덕분에 커뮤니티 기여와 장기적인 확장성이 가능해졌다.