[論文レビュー] Reinforcement Learning for Active Flow Control in Experiments

Dixia Fan, Yang Liu+2 more|arXiv (Cornell University)|Mar 6, 2020

Reinforcement Learning in Robotics参考文献 17被引用数 9

ひとこと要約

本論文は、実世界の流体力学において、強化学習（RL）が最初に実験的に、最適なアクティブな流れ制御戦略を自律的に発見することを示した。報酬関数とカルマンフィルタを用いたノイズ低減により、RLエージェントは数十回のトーリング実験以内に、円形シリンダーの後方で発生する渦脱離を抑制し、最適な静的制御と同等の抗力低減と効率を達成した。

ABSTRACT

We demonstrate experimentally the feasibility of applying reinforcement learning (RL) in flow control problems by automatically discovering active control strategies without any prior knowledge of the flow physics. We consider the turbulent flow past a circular cylinder with the aim of reducing the cylinder drag force or maximizing the power gain efficiency by properly selecting the rotational speed of two small diameter cylinders, parallel to and located downstream of the larger cylinder. Given properly designed rewards and noise reduction techniques, after tens of towing experiments, the RL agent could discover the optimal control strategy, comparable to the optimal static control. While RL has been found to be effective in recent computer flow simulation studies, this is the first time that its effectiveness is demonstrated experimentally, paving the way for exploring new optimal active flow control strategies in complex fluid mechanics applications.

研究の動機と目的

• 物理的モデルに依存せずに、強化学習（RL）を実験的流体力学に直接適用する可能性を示すこと。
• 乱流のぶつかり体の流れにおける抗力低減と効率向上の最適なアクティブ制御戦略を学習する、モデルフリーなRLフレームワークを開発すること。
• RLが静的制御最適化の結果と同等またはそれ以上の性能を示す実世界の実験を通じて、高パフォーマンスな制御ポリシーを発見できることを検証すること。
• 実験的RLにおけるノイズ低減技術（例：カルマンフィルタ）の必要性と有効性を調査すること。
• シミュレーションを超えた、複雑で高次元の実験的流体力学問題へのRLの応用の基盤を確立すること。

提案手法

• RLエージェントは10 Hzで物理的トーリングタンク装置と相互作用し、6軸荷重セルを介して抗力係数と揚力係数のリアルタイムの状態フィードバックを受信する。
• 制御行動は、2つの小さな下流側シリンダーの回転速度であり、次のように無次元化された回転率 ε = ωd/(2U) でパrameter化される。
• 抗力と揚力の振動を最小限に抑え、パワー効率を最大化するように設計されたカスタム報酬関数が採用された。
• センサデータにカルマンフィルタを適用して測定ノイズを低減し、学習の安定性と収束性を向上させた。
• アルゴリズムはモデルフリーなRLアプローチ（例：ポリシー勾配法など）を用い、各40秒の実験エピソード後にポリシーを更新した。
• RLエージェントと実験制御インターフェース間のXML-RPCを用いた同期により、リアルタイムの相互作用と学習が可能になった。

実験結果

リサーチクエスチョン

• RQ1 強化学習は、流れの物理法則を事前に知らなくても、実験的流体力学の設定で効果的なアクティブな流れ制御戦略を発見できるか？
• RQ2 RLベースの制御は、抗力低減とパワー効率の観点で、既知の最適な静的制御戦略と比べてどの程度の性能を示すか？
• RQ3 ノイズ低減（例：カルマンフィルタ）は、実験的流体制御における安定的かつ効果的なRL学習を可能にする上で果たす役割は何か？
• RQ4 RLは少数の物理的実験内でのみ、安定的かつ最適な制御ポリシーに収束できるか？
• RQ5 学習された制御戦略は、ぶつかり体の後方で発生する乱流の渦脱離と流れ尾構造にどのように影響を与えるか？

主な発見

• RLエージェントはわずか4エピソードで安定した制御戦略に到達し、主シリンダーの平均抗力係数を負の値にまで低下させ、平均揚力係数をほぼゼロに近づけた。
• 10エピソード後には、エージェントが渦脱離を抑制する制御ポリシーを学習し、最適な静的制御設定と同等の狭く安定した流れ尾を形成した。
• 40エピソード目には、流体力学的性能と流れ尾構造が最適な静的制御とほとんど区別がつかないほどに近づき、収束性とロバスト性を確認した。
• カルマンフィルタの使用により、学習の安定性と性能が顕著に向上し、ノイズの多い実験環境においてその必要性が示された。
• RLエージェントは、抗力低減とパワー効率の観点で、既知の最高性能の静的制御と同等の戦略を、わずか数十回の物理的実験で発見した。
• これらの結果は、モデルフリーなRLが実験的流体力学に成功裏に応用可能であり、複雑な制御戦略の自律的発見への道を開いたことを裏付けた。