[論文レビュー] xMLC - A Toolkit for Machine Learning Control

Guy Y. Cornejo Maceda, François Lusseyran+1 more|arXiv (Cornell University)|Jan 1, 2022

Advanced Control Systems Optimization参考文献 56被引用数 2

ひとこと要約

xMLC は、線形遺伝的プログラミングを用いて、流体力学における最適なオープンループおよびクローズドループ制御則を自動で発見するためのオープンソースツールキットである。ランダムな入力サンプリングによる等価な制御則の検出とフィルタリングにより、学習を加速し、最小限のユーザー介入と制御則の手動導出を必要とせずに、複雑な制御ランドスケープを効率的に探索できる。

ABSTRACT

xMLC is the second book of this `Machine Learning Tools in Fluid Mechanics' Series and focuses on Machine Learning Control (MLC). The objectives of this book are two-fold: First, provide an introduction to MLC for students, researchers, and newcomers on the field; and second, share an open-source code, xMLC, to automatically learn open- and closed-loop control laws directly in the plant with only a few executable commands. This presented MLC algorithm is based on genetic programming and highlights the learning principles (exploration and exploitation). The need of balance between these two principles is illustrated with an extensive parametric study where the explorative and exploitative forces are gradually integrated in the optimization process. The provided software xMLC is an implementation of MLC. It builds on OpenMLC (Duriez et al., 2017) but replaces tree-based genetic programming but the linear genetic programming framework (Brameier and Banzhaf, 2006). The latter representation is preferred for its easier implementation of multiple-input multiple-output control laws and of the genetic operators (mutation and crossover). The handling of the software is facilitated by a step by step guide that shall help new practitioners to use the code within few minutes. We also provide detailed advice in using the code for other solvers and for experiments. The code is open-source and a GitHub version is available for future updates, options and add-ons.

研究の動機と目的

• 機械学習を用いて流体力学における最適な制御則の発見を自動化する、使いやすくオープンソースなツールキットを提供すること。
• 数個の実行可能コマンドで十分な設定を行い、研究者やエンジニアがプラント内直接に制御則を学習できるようにすること。
• 進化の過程で重複または等価な制御則を検出し、排除することで学習プロセスを加速すること。
• Simulink や LabVIEW を含むさまざまなソルバーやリアルタイム実験プラットフォームとの統合を支援すること。
• モジュラーなコード設計とコミュニティ主導の開発により、再現性と拡張性を促進すること。

提案手法

• 制御則を線形操作のシーケンスとして表現する線形遺伝的プログラミング（LGP）を用い、多入力多出力制御戦略の効率的実装を可能にする。
• モンテカルロサンプリングを用いて、センサーステートの範囲にわたる制御則の評価を行い、ロバストネスと一般化性能を確保する。
• 遺伝的演算子（交差：活用、変異：探索、エリート主義：記憶）を適用して、世代を跨いで制御則を進化させる。
• 1000個のランダム入力サンプルを用いて、新しい制御則を事前に評価されたものとのデータベースと比較し、等価性を検出するフィルタリング機構を実装する。
• Simulink（コンパイル済みモデル用）または LabVIEW（テキストベースの制御則スクリプト経由）によるインターフェースを提供し、リアルタイム実験を可能にする。
• 探索と活用のバランスを最適化するパrametric study を実施し、遺伝的演算子の重みが収束性とパフォーマンスに与える影響を示す。

実験結果

リサーチクエスチョン

• RQ1 流体力学において、最小限のユーザー入力で機械学習による制御則を自動で発見する方法は何か？
• RQ2 制御則発見のための遺伝的プログラミングにおいて、探索と活用の最適なバランスは何か？
• RQ3 等価な制御則を検出し、フィルタリングすることで、学習を加速し、重複評価を回避する方法は何か？
• RQ4 xMLC を Simulink や LabVIEW などのリアルタイム実験プラットフォームに統合するための最も効果的な戦略は何か？
• RQ5 提案されたフィルタリング機構は、最適な制御則への収束を維持しつつ、計算コストを顕著に削減できるか？

主な発見

• 標準的なハードウェア上で、10分未満で減衰するランドウオシレーターの制御則を成功裏に学習し、最小限のユーザー設定で収束を達成した。
• パrametric study により、探索的および活用的要因のバランスの取れた統合が、極端な設定よりも高速な収束と優れたパフォーマンスをもたらすことが示された。
• 等価な制御則検出機構により、テストされたベンチマークで重複評価を最大40％削減し、学習プロセスの著しい加速が達成された。
• Simulink および LabVIEW との統合により、仮想および物理プラットフォームの両方でリアルタイム制御実験が成功裏に実施された。
• フィルタリング機構は、数学的に等価な制御則やアクチュエータのしきい値を超える制御則を効果的に特定・除外し、集団の多様性と収束性を向上させた。
• xMLC のオープンソース性に加え、詳細なドキュメンテーションと GitHub リポジトリのおかげで、コミュニティの貢献と長期的な拡張性が可能になった。