[論文レビュー] Controlling Rayleigh-Bénard convection via Reinforcement Learning

Gerben I. Beintema, Alessandro Corbetta+2 more|TU/e Research Portal|Mar 31, 2020

Model Reduction and Neural Networks参考文献 64被引用数 75

ひとこと要約

本論文は、強化学習が下部境界温度を変調することにより2D Rayleigh–Bénard 系における対流を著しく抑制できることを示し、線形制御を上回り、制御可能なレイリー数閾値を高める。

ABSTRACT

Thermal convection is ubiquitous in nature as well as in many industrial applications. The identification of effective control strategies to, e.g., suppress or enhance the convective heat exchange under fixed external thermal gradients is an outstanding fundamental and technological issue. In this work, we explore a novel approach, based on a state-of-the-art Reinforcement Learning (RL) algorithm, which is capable of significantly reducing the heat transport in a two-dimensional Rayleigh-Bénard system by applying small temperature fluctuations to the lower boundary of the system. By using numerical simulations, we show that our RL-based control is able to stabilize the conductive regime and bring the onset of convection up to a Rayleigh number $Ra_c \approx 3 \cdot 10^4$, whereas in the uncontrolled case it holds $Ra_{c}=1708$. Additionally, for $Ra > 3 \cdot 10^4$, our approach outperforms other state-of-the-art control algorithms reducing the heat flux by a factor of about $2.5$. In the last part of the manuscript, we address theoretical limits connected to controlling an unstable and chaotic dynamics as the one considered here. We show that controllability is hindered by observability and/or capabilities of actuating actions, which can be quantified in terms of characteristic time delays. When these delays become comparable with the Lyapunov time of the system, control becomes impossible.

研究の動機と目的

• Rayleigh–Bénard対流における熱駆動流および熱輸送の制御を動機づける。
• 一定のレイリー数で対流を抑制するアクティブ制御戦略を開発・比較する。
• RLベースの制御が高Rayleigh域で線形コントローラを上回ることを示す。
• カオス系における可観測性と作動遅延が制御可能性に及ぼす理論的限界を探る。

提案手法

• BGK形の格子ボルツマン法（D2Q9 速度、D2Q4 温度）を用いて2D Rayleigh–Bénard 系をモデル化する。
• 振幅が束縛された下部境界温度変動を課すことで制御を定義する。
• 下部境界温度プロファイルを出力するRLベースの制御器と線形PD制御を比較する。
• グリッド上の温度/速度プローブから構築された状態空間を用いて、PPO RLフレームワーク内のMLPベースのポリシーへ入力する。
• 制約を満たすよう正規化された、10区間の階段状温度プロファイルとしてアクションを離散化する。
• 時間平均Nusselt数 Nu とその瞬時形 Nu_inst で性能を評価する。

実験結果

リサーチクエスチョン

• RQ1 RLベースの制御は、一定のレイリー数で対流性熱輸送を線形制御法より効果的に低減できるか？
• RQ2 RLと線形制御の下で達成可能な臨界レイリー数の増加はどの程度か？
• RQ3 制御遅延と可観測性はカオスな領域でのRBCの安定化または抑制の実現性にどう影響するか？
• RQ4 RL制御の下でどんな流れ構造が現れ、熱輸送を低減するのか？

主な発見

• RL制御は臨界レイリー数を、~1e3（無制御）から~1e4（線形）および~3e4（RL）へと増加させる。
• Ra > 3e4では、RL制御は無制御ケースと比較して時間平均Nuを約2.5低減し、Ra < 1e6まで約1.5の低減を達成する線形手法を上回る。
• RL制御はRa ~3e4まで伝導状態を安定化させ、より高いRaでは線形制御に典型的な周期的流れではなく定常的または低減されたNuを達成する。
• RLはダブルセル型の流れ構成に似た流れを誘導し、対流構造を変更することで熱輸送を効果的に低減する。これはRa ~1e5まで観測され、Ra ~1e6では効果は弱まるが依然として現れる。
• トレーニング時間はRaに依存し、Ra ≲ 1e5ではV100で1時間未満、Ra ≳ 1e6では約150時間となる。