[論文レビュー] Exploiting locality and physical invariants to design effective Deep Reinforcement Learning control of the unstable falling liquid film

Vincent Belus, Jean Rabault+4 more|arXiv (Cornell University)|Oct 17, 2019

Fluid Dynamics and Turbulent Flows参考文献 5被引用数 4

ひとこと要約

本稿では、空間的局所性と並進不変性を活用することで、1次元の落下液体膜における不安定な界面波を制御する、革新的な深層強化学習（DRL）手法を提示する。畳み込みDRLエージェントを設計し、局所的で密な報酬関数を採用することで、任意の数のアクチュエータを効率的に制御し、高次元出力空間における次元の呪いを克服。非不変またはスパarsな報酬ベースラインと比較して、優れた性能を示す高速で安定した学習が可能となる。

ABSTRACT

Instabilities arise in a number of flow configurations. One such manifestation is the development of interfacial waves in multiphase flows, such as those observed in the falling liquid film problem. Controlling the development of such instabilities is a problem of both academic and industrial interest. However, this has proven challenging in most cases due to the strong nonlinearity and high dimensionality of the underlying equations. In the present work, we successfully apply Deep Reinforcement Learning (DRL) for the control of the one-dimensional (1D) depth-integrated falling liquid film. In addition, we introduce for the first time translational invariance in the architecture of the DRL agent, and we exploit locality of the control problem to define a dense reward function. This allows to both speed up learning considerably, and to easily control an arbitrary large number of jets and overcome the curse of dimensionality on the control output size that would take place using a naive approach. This illustrates the importance of the architecture of the agent for successful DRL control, and we believe this will be an important element in the effective application of DRL to large two-dimensional (2D) or three-dimensional (3D) systems featuring translational, axisymmetric or other invariants.

研究の動機と目的

• 不安定な落下液体膜という、極めて非線形的かつ高次元的な流体力学的問題に対する効果的なDRL制御戦略の開発。
• 多くのアクチュエータを管理する際のDRL制御における次元の呪いを、物理的不変性と空間的局所性を活用することで解決。
• 細分化されたフィードバックが得られる局所的で密な報酬関数を設計することで、学習効率とポリシー品質の向上。
• 特に並進不変性と局所性を特徴とするアーキテクチャ設計が、物理系におけるDRL性能に顕著な向上効果をもたらすことを実証。
• 類似した対称性と空間的構造を有する複雑な2次元および3次元流体系に適用可能なスケーラブルで一般化可能なDRL制御の実現。

提案手法

• 画像処理におけるCNNに類似した、空間的位置に依存しない並進不変性を明示的に強制する畳み込みDRLエージェントアーキテクチャを導入。
• 各アクチュエータ位置で制御性能を評価する局所的で密な報酬関数を設計し、グローバル平均化ではなく細分化されたフィードバックを提供。
• 1次元の深さ方向に積分された落下液体膜モデルを採用し、半陰的有限体積法を用いて正確かつ効率的なシミュレーションを実現。
• 連続制御設定下でDRLエージェントを学習するために、カスタムOpenAI Gym環境を用いたProximal Policy Optimization（PPO）を採用。
• 複数の制御戦略（M1：グローバル報酬、M2：スパarsな報酬、M3：密で局所的な報酬）を導入し、学習効率とポリシー品質の比較を実施。
• 環境分割と並列シミュレーションを実装し、複数CPUに跨るトレーニングスケーリングを実現。これにより、迅速なプロトタイピングと再現性が可能となる。

実験結果

リサーチクエスチョン

• RQ1 強い非線形性と高次元性を示す落下液体膜を、DRLが効果的に制御できるか？
• RQ2 DRLエージェントアーキテクチャに並進不変性を組み込むことで、学習速度とポリシー性能にどのような影響を与えるか？
• RQ3 スパarsまたはグローバル報酬と比較して、密で局所的な報酬関数を用いることで、学習効率と制御精度はどの程度向上するか？
• RQ4 出力空間における次元の呪いに見舞われることなく、任意の数のアクチュエータをDRLエージェントが制御可能か？
• RQ5 畳み込み構造や報酬密度といったアーキテクチャ的選択が、物理系におけるDRLのスケーラビリティとロバストネスに与える影響はいかほどか？

主な発見

• 並進不変性と密な局所的報酬を有する本手法DRLは、グローバルまたはスパarsな報酬を使用するベースライン手法と比較して、著しく高速かつ安定した学習を達成。
• 畳み込みDRLエージェントは、任意の数のアクチュエータを効果的に制御し、制御出力空間における次元の呪いを克服した。
• 密な報酬関数により細分化されたフィードバックが得られ、エージェントは個々のアクチュエータ位置での有効・無効な行動を明確に区別できるようになった。
• M3（密報酬）はM1およびM2を上回り、学習速度と最終的なポリシー品質の両面で優れた性能を示した。高次元制御における局所的フィードバックの重要性を実証。
• アーキテクチャの並進不変性により、エージェントは空間的位置に跨る一般化が可能となり、サンプル複雑度が低減され、一般化性能が向上した。
• 本手法はスケーラブルかつ拡張可能であり、類似した物理的不変性と局所性を有する複雑な2次元および3次元流体系への応用が期待される。