[論文レビュー] Deep Reinforcement Learning achieves flow control of the 2D Karman Vortex Street

Jean Rabault, Ulysse Reglade+3 more|arXiv (Cornell University)|Aug 31, 2018

Model Reduction and Neural Networks参考文献 17被引用数 3

ひとこと要約

この論文は、Re=100における円柱の後方で発生する2次元カーマン渦列に対して、深層強化学習（DRL）が能動的流れ制御を成功裏に達成できることを示している。合成ジェットを制御するための深層人工ニューラルネットワーク（DANN）を訓練することで、平均ステディステートで流入質量流量のわずか0.35%に相当する極めて少ない駆動力で、抗力は約8%低減され、渦剥離もほとんど抑制された。

ABSTRACT

The Karman Vortex Street has been investigated for over a century and offers a reference case for investigation of flow stability and control of high dimensionality, non-linear systems. Active flow control, while of considerable interest from a theoretical point of view and for industrial applications, has remained inaccessible due to the difficulty in finding successful control strategies. Here we show that Deep Reinforcement Learning can achieve a stable active control of the Karman vortex street behind a two-dimensional cylinder. Our results show that Deep Reinforcement Learning can be used to design active flow controls and is a promising tool to study high dimensionality, non-linear, time dependent dynamic systems present in a wide range of scientific problems.

研究の動機と目的

• 深層強化学習（DRL）が、2次元カーマン渦列のような高次元的・非線形的流体系において、安定な能動的流れ制御を達成できるかどうかを調査すること。
• 低次元モデルに依存せずに、DRLで訓練された人工ニューラルネットワークを用いて、複雑な流れの制御戦略を設計する可能性を評価すること。
• DRLが、強い非線形性と不安定性を示す系ですら、極めて少ないエネルギー入力で効果的な制御方策を発見できることを示すこと。
• DRLが、流体力学およびそれ以上の分野における複雑な力学的システムの研究・制御に汎用的ツールとして有効である可能性を探ること。

提案手法

• Re=100における円柱周りの流れをモデル化するために、2次元非圧縮性ナビエ＝ストークス方程式のシミュレーションを用い、標準的なベンチマーク設定に従った。
• 円柱の両側に、10°の角度幅を持つ2つの合成ジェットを配置し、表面に対して垂直に流体を注入した。このとき、質量流量の合計がゼロ（Q₁ + Q₂ = 0）となるように設定した。
• 渦剥離を抑制するために、抗力（D）と揚力（L）の変動を最小化する報酬関数に基づいて、深層Qネットワーク（DQN）エージェントを訓練した。
• DRLエージェントは、瞬時の流れ状態を観測し、累積割引報酬を最大化するように、制御行動（質量流量Q₁、Q₂）を選択した。
• エージェントは、時間差分学習を用いてエンドツーエンドで訓練され、観測された状態遷移と報酬に基づいて、ネットワークの重みを更新した。
• 本手法は低次元モデルやアドジョイントベース最適化に依存せず、完全なナビエ＝ストークス系の直接制御を可能にした。

実験結果

リサーチクエスチョン

• RQ1 深層強化学習（DRL）は、2次元カーマン渦列のような高次元的・非線形的流体系において、制御方策を効果的に学習できるか？
• RQ2 DRLエージェントは、極めて少ない駆動エネルギーで、抗力低減と渦剥離の抑制をどの程度達成できるか？
• RQ3 DRLエージェントの制御戦略は、円柱の後方における平均圧力分布と再循環領域にどのように影響を与えるか？
• RQ4 初期の一時的遷移期を経た後、DRLエージェントは、わずかな間歇的制御入力のみで、新たな流れ状態を安定化できるか？
• RQ5 DRLベースの制御は、制御信号のわずかな摂動に対してロバストであるか？ これは、制御された状態の感度にどのような意味を持つのか？

主な発見

• DRLエージェントは、制御されていない基準状態と比較して、抗力の約8%低減を達成した。
• 渦剥離の変動はほとんど抑制され、制御状態では時間的に変化する抗力係数（C_D）の振動が著しく小さくなった。
• 制御戦略により、円柱の後方における再循環バブルのサイズが拡大し、圧力分布も変化した。これは抗力低減の物理的メカニズムである。
• DRLエージェントは極めて低い駆動レベルを使用した。平均正規化質量流量は、0.005にまで低下し、ステディステートで流入質量流量のわずか0.35%に相当した。
• 2段階の制御行動が観察された：初期の一時的遷移期では強い制御（正規化流量±0.02まで）が行われ、その後は最小限の駆動で準周期的状態に入った。
• システムは制御摂動に対して極めて感受性が高かった。制御信号のわずかな変化が、能動的制御状態の崩壊を引き起こし、狭い安定な作動点が存在することを示した。