[論文レビュー] DRLinFluids -- An open-source python platform of coupling Deep Reinforcement Learning and OpenFOAM

Qiulei Wang, Lei Yan+6 more|arXiv (Cornell University)|May 25, 2022

Model Reduction and Neural Networks参考文献 53被引用数 14

ひとこと要約

DRLinFluids は、深層強化学習（DRL）と OpenFOAM を統合したオープンソースの Python プラットフォームであり、流体力学的応用における効率的な DRL を用いたアクティブな流れ制御を可能にする。最小限のハイパーパramータチューニングで、円形および正方形の円柱の流れにおいて最大 13.6% の抗力低減と顕著な揚力抑制を達成する。

ABSTRACT

We propose an open-source python platform for applications of Deep Reinforcement Learning (DRL) in fluid mechanics. DRL has been widely used in optimizing decision-making in nonlinear and high-dimensional problems. Here, an agent maximizes a cumulative reward with learning a feedback policy by acting in an environment. In control theory terms, the cumulative reward would correspond to the cost function, the agent to the actuator, the environment to the measured signals and the learned policy to the feedback law. Thus, DRL assumes an interactive environment or, equivalently, control plant. The setup of a numerical simulation plant with DRL is challenging and time-consuming. In this work, a novel python platform, named DRLinFluids is developed for this purpose, with DRL for flow control and optimization problems in fluid mechanics. The simulations employ OpenFOAM as popular, flexible Navier-Stokes solver in industry and academia, and Tensorforce or Tianshou as widely used versatile DRL packages. The reliability and efficiency of DRLinFluids are demonstrated for two wake stabilization benchmark problems. DRLinFluids significantly reduces the application effort of DRL in fluid mechanics and is expected to greatly accelerates academic and industrial applications.

研究の動機と目的

• 計算流体力学（CFD）シミュレーションにおける深層強化学習（DRL）の実装に要する複雑さと時間を低減すること。
• DRL アルゴリズムの先進性と従来の流体力学研究の間のギャップを埋め、OpenFOAM とのシームレスな統合を可能にすること。
• 学術的および産業的応用の両方における DRL を用いたアクティブな流れ制御のためのスケーラブルで使いやすいフレームワークを提供すること。
• 円形および正方形の円柱を含む代表的な流れ制御問題を通じて、プラットフォームの信頼性と効率性を実証すること。

提案手法

• プラットフォームは、DRL エージェントのための高精度な状態観測を提供するため、流体の流れをシミュレートする CFD 環境として OpenFOAM を使用する。
• PPO や SAC などのさまざまな強化学習アルゴリズムをサポートするため、Tensorforce や Tianshou などの DRL バックエンドと統合する。
• OpenFOAM の辞書ファイルを動的に解析・変更するための正規表現を用い、制御パramータのリアルタイム更新を実現する。
• OpenFOAM を用いた CFD シミュレーションの並列化と、複数の環境における DRL エピソードの上位レベルの並列化をサポートすることで、並列学習を可能にする。
• 抗力係数と揚力係数の両方を最小化するように設計された報酬関数により、安定的で効率的な制御方策の学習を促進する。
• エージェントは、OpenFOAM でシミュレートされた環境との継続的相互作用を通じてフィードバック方策を学習し、累積報酬を最大化するように方策ネットワークを更新する。

Figure 1: Interaction of agent and environment in reinforcement learning

実験結果

リサーチクエスチョン

• RQ1 統合的でオープンソースのプラットフォームは、流体力学的応用における DRL と OpenFOAM の統合を効果的に実現できるか？
• RQ2 DRLinFluids は、複雑で非線形な流体系におけるアクティブな流れ制御の制御方策をどれほど効率的に学習できるか？
• RQ3 DRLinFluids は、円形および正方形の円柱といった代表的な流れ配置において、抗力低減と渦巣の抑制をどの程度達成できるか？
• RQ4 異なる DRL アルゴリズムと流れの幾何形状に対して、学習された制御方策はどれほど頑健か？
• RQ5 DRLinFluids を用いて、最小限のハイパーパramータチューニングでどの程度のパフォーマンス向上（例：抗力低減）が達成できるか？

主な発見

• DRLinFluids は、Re = 100 の条件下で、円形円柱に対して最大 8%、正方形円柱に対して最大 13.6% の抗力低減を達成した。
• 揚力のフラクチュエーションが非常に低い水準に抑えられ、流れ場の効果的な安定化が示された。
• PPO や SAC などの異なる DRL アルゴリズムにおいても、一貫した制御パフォーマンスを達成しており、頑健性が裏付けられた。
• 最適な制御方策は、自由流れに対する小さなジェット速度で十分で、円形円柱では 0.58%、正方形円柱では 3.443% にとどまる。
• CFD シミュレーションと DRL 学習エピソードの両方の並列化を効率的に行えるため、複雑な流れへのスケーラビリティを支援する。
• OpenFOAM 辞書ファイルの操作に正規表現を用いることで、DRL エージェントと CFD ソルバ間の柔軟で信頼性の高いデータ交換が可能になった。

Figure 2: Directory structure of an OpenFOAM case.