[論文レビュー] Comparative analysis of machine learning methods for active flow control

Fabio Pino, Lorenzo Schena+2 more|arXiv (Cornell University)|Feb 23, 2022

Model Reduction and Neural Networks被引用数 5

ひとこと要約

本論文は、3つの流体力学的問題—周波数クロスタッチ安定化、バーガーズ流れにおける波干渉のキャンセレーション、円柱の尾流における抗力低減—におけるアクティブな流れ制御のための機械学習手法—遺伝的プログラミング（GP）、強化学習（RL）、ベイズ最適化（BO）、リプシッツ最適化（LIPO）—の比較的評価を提示する。研究では、すべての手法をブラックボックス最適化問題として定式化し、BOとLIPOが収束速度とロバスト性において優れた性能を示すことを示している。一方、GPとDDPGはより高い探索能力を示すが収束が遅く、制御則の発見におけるモデル容量と計算複雑性のトレードオフを浮き彫りにしている。

ABSTRACT

Machine learning frameworks such as Genetic Programming (GP) and Reinforcement Learning (RL) are gaining popularity in flow control. This work presents a comparative analysis of the two, bench-marking some of their most representative algorithms against global optimization techniques such as Bayesian Optimization (BO) and Lipschitz global optimization (LIPO). First, we review the general framework of the model-free control problem, bringing together all methods as black-box optimization problems. Then, we test the control algorithms on three test cases. These are (1) the stabilization of a nonlinear dynamical system featuring frequency cross-talk, (2) the wave cancellation from a Burgers' flow and (3) the drag reduction in a cylinder wake flow. We present a comprehensive comparison to illustrate their differences in exploration versus exploitation and their balance between `model capacity' in the control law definition versus `required complexity'. We believe that such a comparison paves the way toward the hybridization of the various methods, and we offer some perspective on their future development in the literature on flow control problems.

研究の動機と目的

• アクティブな流れ制御の文脈において、モデルフリーな機械学習制御手法—GP、RL、BO、LIPO—を統一的かつ比較可能なブラックボックス最適化フレームワークに統合すること。
• これらの手法が、周波数クロスタッチ安定化、バーガーズ流れにおける波干渉のキャンセレーション、円柱の尾流における抗力低減という3つの代表的な流れ制御問題において、どのように性能を発揮するかを評価すること。
• 各手法における探索と活用のトレードオフ、制御則表現のモデル容量、計算複雑性の関係を分析すること。
• 収束速度、ロバスト性、および解の品質に関する実験的知見を提供し、流れ制御研究における手法選定および将来のハイブリッド手法開発を支援すること。

提案手法

• アクティブな流れ制御を、システムモデルを必要とせず、報酬（例：抗力低減、騒音抑制）に基づいて制御則を最適化するブラックボックス最適化問題として定式化する。
• ベイズ最適化（BO）とリプシッツ最適化（LIPO）を、確率的および決定的アセスメント関数を用いた効率的な探索を実現するグローバル最適化手法として採用する。
• 遺伝的プログラミング（GP）を用い、木構造の数式表現に対して交差や変異といった進化的な操作を繰り返し、シンボリックな制御則を進化的に発見する。
• 深層決定的方策勾配（DDPG）を、エージェントと評価関数の両方をニューラルネットワークでパラメータ化するアクター・クリティック構造を持つ深層強化学習アルゴリズムとして採用する。
• すべての問題に対して、調整可能な重みを持つ0次元フィードバック制御則を実装し、各手法間で同一の制御則構造での直接比較を可能にする。
• 10回の独立したランを含むマルチスタート・ランダムリスタート戦略を採用し、統計的ロバスト性を確保するとともに、平均値と標準偏差を報告する。

実験結果

リサーチクエスチョン

• RQ1 BO、LIPO、GP、DDPGは、多様な流れ制御問題において、収束速度とロバスト性の観点でどのように比較されるか？
• RQ2 各手法におけるモデル容量（制御則の表現力）と必要な計算複雑性の間には、どのようなトレードオフが存在するか？
• RQ3 進化的手法（GP）とサンプル効率の高い手法（BO、LIPO）は、流れ制御最適化において、探索と活用の行動にどのように差異を示すか？
• RQ4 BOとLIPOは、最終的な性能と収束安定性の観点で、RLおよびGPをどの程度上回るか？
• RQ5 特定された制御則（例：フィードバック重み）は、異なる流れ設定に一般化可能であるか、意味的に解釈可能か？

主な発見

• ベイズ最適化（BO）とリプシッツ最適化（LIPO）は、関数評価回数が少ないにもかかわらず、収束速度と最終報酬の両面でGPおよびDDPGを常に上回り、少ない評価回数で最適性能に到達する。
• 円柱の尾流抗力低減問題において、BOとLIPOは平均で25–30％の抗力低減を達成し、GPおよびDDPGを著しく上回った。
• バーガーズ流れにおける波干渉キャンセレーションタスクでは、BOとLIPOが残留振幅 < 0.05 に近い完全なキャンセレーションを達成し、最小限の振動を示した。一方、GPおよびDDPGはより高い残留振幅と不安定性を示した。
• BOとLIPOが特定した制御則の重みは、10回のランにわたって低い分散を示した（例：表7のw1：BOでは0.2 ± 1.83、LIPOでは1.13 ± 2.23）。これは、より高いロバスト性を示している。
• 遺伝的プログラミング（GP）は高い探索能力を示したが、収束が著しく遅く、各ランにおける最終報酬のばらつきが大きく、最適性能に到達できないケースも多かった。
• DDPGは中程度の性能を示したが、ハイパーパrameterの微調整が必須であり、特にフォン・カーマン渦系列の高次元制御問題では不安定性を示した。