[論文レビュー] Symmetry reduction for deep reinforcement learning active control of chaotic spatiotemporal dynamics

Kevin Zeng, Michael D. Graham|arXiv (Cornell University)|Apr 9, 2021

Model Reduction and Neural Networks参考文献 39被引用数 33

ひとこと要約

本論文は、カウラモト＝シヴァシンスキー方程式（KSE）をテストベッドとして用い、対称性を考慮した深層強化学習（RL）を提案することで、カオス的時空間系におけるデータ効率の向上と制御効果の向上を図る。状態と行動の空間を対称性不変多様体に投影することにより、学習が高速化され、非駆動系に接続された平衡状態が安定化され、ノイズおよびパrameterの変動に対してもロバストである。

ABSTRACT

Deep reinforcement learning (RL) is a data-driven, model-free method capable of discovering complex control strategies for macroscopic objectives in high-dimensional systems, making its application towards flow control promising. Many systems of flow control interest possess symmetries that, when neglected, can significantly inhibit the learning and performance of a naive deep RL approach. Using a test-bed consisting of the Kuramoto-Sivashinsky Equation (KSE), equally spaced actuators, and a goal of minimizing dissipation and power cost, we demonstrate that by moving the deep RL problem to a symmetry-reduced space, we can alleviate limitations inherent in the naive application of deep RL. We demonstrate that symmetry-reduced deep RL yields improved data efficiency as well as improved control policy efficacy compared to policies found by naive deep RL. Interestingly, the policy learned by the the symmetry aware control agent drives the system toward an equilibrium state of the forced KSE that is connected by continuation to an equilibrium of the unforced KSE, despite having been given no explicit information regarding its existence. I.e., to achieve its goal, the RL algorithm discovers and stabilizes an equilibrium state of the system. Finally, we demonstrate that the symmetry-reduced control policy is robust to observation and actuation signal noise, as well as to system parameters it has not observed before.

研究の動機と目的

• 高次元的かつ対称性を持つカオス的系におけるナーブな深層RLのデータ効率の低さと性能制限を解消すること。
• 対称性に配慮したRLが、カオス的時空間力学における平衡状態を同定し、安定化できるかどうかを調査すること。
• 系の連続的および離散的対称性を用いて状態空間を低減することで、制御方策の有効性を向上させること。
• 訓練中に観測されなかったノイズおよびシステムパrameterの変動下での、対称性低減方策のロバスト性を評価すること。
• 平衡状態に関する事前知識なしに、非自明な制御戦略の発見が対称性低減によって可能になるかどうかを実証すること。

提案手法

• カウラモト＝シヴァシンスキー方程式（KSE）の連続的並進対称性および離散的反転対称性を用いて、系の状態と行動を対称性低減空間に投影する。
• 深層Qネットワーク（DQN）エージェントを、時間平均的散逸と駆動コストを最小化するように、対称性低減状態・行動空間で訓練する。
• 対称性に関連する冗長な動的状態を排除する座標変換を用いて、対称性低減を実装する。
• 高い散逸と制御エネルギーをペナルティとする報酬関数を用い、低散逸状態を促進する。
• ネットワークアーキテクチャに明示的な対称性制約を設けず、代わりに対称性不変の低減状態空間に依存して、暗黙的に不変性を強制する。
• 訓練中に観測されなかったノイズ（観測ノイズ、駆動ノイズ）およびパrameterの変動の下で、ロバスト性をテストする。

実験結果

リサーチクエスチョン

• RQ1 対称性低減を施した深層RLは、カオス的時空間系におけるデータ効率と制御性能を向上させることができるか？
• RQ2 対称性に配慮したRLは、非駆動系の平衡状態に接続された強制KSEの平衡状態を同定し、安定化できるか？
• RQ3 収束速度および最終的な性能の観点から、対称性低減方策とナーブな深層RLとを比較するとどうなるか？
• RQ4 観測および駆動信号のノイズに対して、対称性低減方策はロバストか？
• RQ5 訓練中に遭遇しなかったシステムパrameter（例：駆動振幅）に対しても、方策は一般化可能か？

主な発見

• 対称性低減深層RLは、KSEの制御において、ナーブな深層RLと比較して収束が速く、データ効率が向上した。
• 対称性に配慮したエージェントは、この状態に関する明示的な情報が与えられていないにもかかわらず、非駆動KSEの平衡状態に接続された状態を安定化した。
• 学習済み方策は、制御なしのダイナミクスと比較して、時間平均的散逸を50％以上削減し、ナーブなRL方策を上回った。
• 10％の観測ノイズおよび10％の駆動ノイズ下でも、対称性低減方策は有効であり、ロバスト性を示した。
• 訓練範囲外のシステムパrameter（例：駆動振幅）に対しても、方策は一般化可能であり、強力な一般化能力を示した。
• 本手法により、平衡状態を安定化する非自明な制御戦略が発見可能であり、複雑な流体力学における発見的ツールとしての有用性が示唆された。