[論文レビュー] Efficient collective swimming by harnessing vortices through deep reinforcement learning

Siddhartha Verma, Guido Novati+1 more|arXiv (Cornell University)|Feb 7, 2018

Biomimetic flight and propulsion mechanisms参考文献 38被引用数 444

ひとこと要約

本研究では、深層強化学習（DRL）を用いて、リーダー・フィッシュが発生させる渦の流れと同期することで、集団的な推進力を最適化する自律的遊泳者を訓練している。スマートなフォロワーは、正確な位相ロックされた位置で渦を捕らえることで、遊泳効率を最大100%向上させ、水流からのエネルギー回収によってエネルギー消費を削減しながらも、速度や安定性を損なわないことを示している。

ABSTRACT

Fish in schooling formations navigate complex flow-fields replete with mechanical energy in the vortex wakes of their companions. Their schooling behaviour has been associated with evolutionary advantages including collective energy savings. How fish harvest energy from their complex fluid environment and the underlying physical mechanisms governing energy-extraction during collective swimming, is still unknown. Here we show that fish can improve their sustained propulsive efficiency by actively following, and judiciously intercepting, vortices in the wake of other swimmers. This swimming strategy leads to collective energy-savings and is revealed through the first ever combination of deep reinforcement learning with high-fidelity flow simulations. We find that a `smart-swimmer' can adapt its position and body deformation to synchronise with the momentum of the oncoming vortices, improving its average swimming-efficiency at no cost to the leader. The results show that fish may harvest energy deposited in vortices produced by their peers, and support the conjecture that swimming in formation is energetically advantageous. Moreover, this study demonstrates that deep reinforcement learning can produce navigation algorithms for complex flow-fields, with promising implications for energy savings in autonomous robotic swarms.

研究の動機と目的

• 魚が同種の個体の後方の水圧渦を活用することでエネルギー消費を削減できるかどうかを調査すること。
• 強化学習を用いて、非定常な流れ場に適応する自律的ナビゲーション戦略を開発すること。
• 高精度な流体動力学シミュレーションを通じて、協調的遊泳のエネルギー的利点を定量化すること。
• 集団運動における渦の流れからのエネルギー抽出を可能にする物理的メカニズムを解明すること。
• 複雑な流体環境において、DRLが最適で生物学的に妥当な遊泳戦略を発見する可能性を実証すること。

提案手法

• 深層強化学習（DRL）に長短期記憶（LSTM）ネットワークを組み合わせ、視覚的流れの手がかりから自律的遊泳ポリシーを学習する自走型遊泳者を訓練する。
• 非圧縮性ナビエ＝ストークス方程式の高精度な直接数値シミュレーション（DNS）を用いて、リーダーとフォロワーの2体が連続して配置された状況（タンドム配置）における2次元流れ場をモデル化し、実際の魚に似た体の変形を再現する。
• 2種類のDRLエージェントを訓練する：IS η（効率中心）とIS d（位置安定化中心）。それぞれ、遊泳効率または横方向のずれに基づいたカスタム報酬関数を有する。
• DRLエージェントは、局所的な流れ速度と渦度の状態観測値を用いて、実時間で意思決定を行う。学習は試行錯誤の反復によって行われる。
• エネルギー的利点が流れの干渉に起因するかどうかを分離するため、ベースライン制御ケース（単独遊泳者SS ηおよびSS d）を用いる。
• 遊泳効率（η）、推力パワー（PThrust）、変形パワー（PDef）、輸送コスト（CoT）といったエネルギー指標を、さまざまな構成間で計算・比較する。

実験結果

リサーチクエスチョン

• RQ1 自律的遊泳者はある程度、リーダー・フィッシュが発生させる渦の流れと積極的に相互作用することで、遊泳効率を向上させることができるか？
• RQ2 集団遊泳において観察されるエネルギー節約の背後にある物理的メカニズムは何か。特に、渦の同期化とどのように関係しているか？
• RQ3 強化学習における報酬関数の選択が、効率的な遊泳姿勢や軌道の出現にどのように影響するか？
• RQ4 リーダーの運動を事前に知らずに、フォロワーが非定常的で複雑な流れ場にどの程度適応できるか？
• RQ5 LSTMによる時間的記憶が、動的渦環境において安定的かつエネルギー効率の良いナビゲーションを可能にする役割は何か？

主な発見

• DRLで訓練されたフォロワー（IS η）は、渦の流れにおける横方向の流れ速度と頭部運動を位相ロックすることで、遊泳効率η ≈ 1.0を達成し、リーダーの効率よりも100%向上した。
• IS ηは自然にリーダーの後方約∆x ≈ 2.2Lの位置に落ち着き、これは渦リングの周期的放出と一致する。また、渦の間隔（0.7L）に対応する∆x ≈ 1.5Lの位置でも安定化する。
• 最適な渦の捕らえ方において、フォロワーの体の変形は最小限に抑えられ、エネルギー節約は筋肉的負荷の増加ではなく、流れの利用に起因していることが示された。
• 位置に関する直接の報酬が与えられていないにもかかわらず、IS ηはLSTMによる時間的記憶を活用して横方向位置（∆y ≈ 0）を安定的に維持し、動的流れ場への頑健な適応を示した。
• フォロワーの推力パワーは、中胴部（0.2 < s/L < 0.4）で有利な渦の相互作用により著しく増加する一方、変形パワーは低く保たれ、エネルギー回収の効率性が裏付けられた。
• リーダーの運動が不規則になっても、訓練済みのフォロワー（IS η）は自らが流れの後方に入り込み、長期的な効率を最大化するように適応することができ、一般化能力の有効性が証明された。