[論文レビュー] An application of data driven reward of deep reinforcement learning by dynamic mode decomposition in active flow control

Sheng Qin, Shuyue Wang+2 more|arXiv (Cornell University)|Jun 11, 2021

Model Reduction and Neural Networks参考文献 48被引用数 15

ひとこと要約

本稿では、円形シリンダーのアクティブフローコントロール（AFC）における深層強化学習（DRL）のためのデータ駆動型報酬関数を提案する。この報酬関数は、動的モード分解（DMD）を用いてシミュレーションデータからグローバルな流れの特徴を抽出する。PPOに基づくDRLフレームワークでこのDMDベースの報酬を最適化することで、最大10.8%の抗力低減と124%の再循環領域の増加が達成され、プローブベースの報酬と比較してカルマン渦列の安定化が顕著に向上した。

ABSTRACT

This paper focuses on the active flow control (AFC) of the flow over a circular cylinder with synthetic jets through deep reinforcement learning (DRL) by implementing a reward function based on dynamic mode decomposition (DMD). As a main factor that affects the DRL model, the reward is determined by the information extracted from flow field by performing DMD on measurements through simulation. With the data-driven reward, the DRL model is able to learn the AFC policy through the more global information of the field, and instructs the mass flow rate of the synthetic jets. As a result of this type of AFC, the vortex street is stabilized with a reduction of approximately 8% in drag and an improvement of approximately 109% in recirculation area. Furthermore, the configuration of the flow modified by the AFC is studied with DMD on the velocity measurement of the complete flow field.

研究の動機と目的

• 従来のプローブベースの報酬に代えて、グローバルな流れのダイナミクスから導出されたデータ駆動型報酬を用いることで、アクティブフローコントロール（AFC）における深層強化学習（DRL）の性能を向上させること。
• 全フィールドの速度測定値に動的モード分解（DMD）を適用し、支配的となる流れ構造を抽出し、その振幅をDRLエージェントの報酬信号として用いること。
• 合成ジェットを用いた2次元円形シリンダーの流れにおいて、DMDベースの報酬が抗力低減および再循環領域の拡大に与える有効性を評価すること。
• 異なる訓練期間および測定分解能において、本手法のロバストネスとスケーラビリティを示すこと。
• 分散センサー測定と延長されたエピソード長に対応可能なDRLフレームワークを設計することで、将来的な実験的応用を可能にすること。

提案手法

• DRLエージェントは、円形シリンダーに作用する合成ジェットの質量流量を制御するために、近接ポリシー最適化（PPO）アルゴリズムを用いる。
• 全フィールドの速度測定値から圧縮を伴う動的モード分解（DMDc）を用いて抽出された動的モードの振幅を用いて、データ駆動型報酬関数を構築する。
• DMDcは時間分解能のある流れ場データを処理し、一貫性のある構造とその時間的ダイナミクスを同定し、報酬信号の計算に用いる。
• 特に主な渦剥離モードを含む支配的で不安定なモードの抑制を報酬関数が重視することで、流れの安定化を促進する。
• 本手法は、レイノルズ数100の2次元円形シリンダーの流れにおけるシミュレーションデータを用いて訓練され、合成ジェットを制御アクチュエータとして用いる。
• 本フレームワークは、異なる訓練期間（400および800エポック）で評価され、プローブ測定のみを用いたベースラインと比較される。

実験結果

リサーチクエスチョン

• RQ1 DMDベースのデータ駆動型報酬関数は、従来のプローブベースの報酬と比較して、アクティブフローコントロールにおけるDRLの性能を向上させることができるか？
• RQ2 DMDcによる全フィールドの流れ情報の利用は、渦列制御における抗力低減および再循環領域の改善にどのように寄与するか？
• RQ3 DMDベースの報酬は、周波数およびモード振幅の抑制という観点から、カルマン渦列の安定性をどの程度向上させるか？
• RQ4 延長された訓練期間および向上した測定分解能において、学習効率および最終的な性能はどのように変化するか？
• RQ5 提案されたDMDベースの報酬を有するDRLフレームワークは、分散センサーを用いた実験的実装に適応可能か？

主な発見

• DMDベースの報酬を用いた800エポックの訓練では、平均抗力係数が約10.8%低減した。これは、プローブベースの報酬を用いた8.6%の低減を上回る性能であった。
• DMDベースの報酬を用いた800エポックの訓練後、再循環領域は最大124%まで向上した。400エポックでのプローブベース報酬の109%の改善と比較して顕著な向上が確認された。
• 制御された流れでは、渦剥離の基本周波数が約11%低下しており、より安定的で周期的でない流れ構造であることが示された。
• 制御された流れのDMD解析から、特に近い尾流領域で支配的モードの振幅が顕著に低減していることが判明し、非定常不安定性の効果的な抑制が確認された。
• DMDモードから再構築された速度大きさの等高線は、下流で揺らぎモードの空間的分離が顕著に増加していることを示しており、渦のペアリングが減少し、流れの整合性が向上していることを示している。
• 本手法は、異なる訓練期間および測定分解能においてもロバストであり、抗力低減および再循環領域の両面で一貫した改善が得られた。