[논문 리뷰] Efficient collective swimming by harnessing vortices through deep reinforcement learning

Siddhartha Verma, Guido Novati외 1명|arXiv (Cornell University)|2018. 02. 07.

Biomimetic flight and propulsion mechanisms참고 문헌 38인용 수 444

한 줄 요약

이 연구는 깊이 강화학습(DRL)을 사용하여 리더 물고기의 소용돌이 유체 흐름과 동기화함으로써 집단 추진력을 최적화하는 자율 수영자들을 훈련시킨다. 지능형 후행자는 정확한 단계 고정 위치에서 소용돌이를 간섭함으로써 수영 효율성을 최대 100% 향상시키며, 수중 유동에서 에너지를 수확하여 에너지 소비를 줄이되 속도나 안정성에 영향을 주지 않는다는 것을 입증한다.

ABSTRACT

Fish in schooling formations navigate complex flow-fields replete with mechanical energy in the vortex wakes of their companions. Their schooling behaviour has been associated with evolutionary advantages including collective energy savings. How fish harvest energy from their complex fluid environment and the underlying physical mechanisms governing energy-extraction during collective swimming, is still unknown. Here we show that fish can improve their sustained propulsive efficiency by actively following, and judiciously intercepting, vortices in the wake of other swimmers. This swimming strategy leads to collective energy-savings and is revealed through the first ever combination of deep reinforcement learning with high-fidelity flow simulations. We find that a `smart-swimmer' can adapt its position and body deformation to synchronise with the momentum of the oncoming vortices, improving its average swimming-efficiency at no cost to the leader. The results show that fish may harvest energy deposited in vortices produced by their peers, and support the conjecture that swimming in formation is energetically advantageous. Moreover, this study demonstrates that deep reinforcement learning can produce navigation algorithms for complex flow-fields, with promising implications for energy savings in autonomous robotic swarms.

연구 동기 및 목표

• 어류가 동료의 수류에서 발생하는 유체 소용돌이를 이용하여 에너지 소비를 줄일 수 있는지 조사하기.
• 강화학습을 사용하여 불안정한 유동장에 적응하는 자율 주행 전략을 개발하기.
• 고정밀 유체역학 시뮬레이션을 통해 협동 수영의 에너지 효익을 정량화하기.
• 집단 운동에서 소용돌이 유체에서 에너지를 추출하는 물리적 메커니즘을 밝혀내기.
• 복잡한 유체 환경에서 DRL이 생물학적으로 타당한 최적의 수영 전략을 발견하는 데의 가능성을 입증하기.

제안 방법

• 딥 레이어닝(DRL)과 장기 단기 기억(LSTM) 네트워크를 사용하여 시각적 유속 신호에서 최적의 수영 정책을 학습하는 자가 추진 수영자들을 훈련시킨다.
• 비압축성 나비에-스토크스 방정식의 고정밀 직접 수치 시뮬레이션(DNS)을 통해 리더와 후행자 두 마리의 수영자(후행자)가 실물에 가까운 물고기 유사 몸체 변형을 보이며 형성하는 2차원 유동장을 모델링한다.
• 두 가지 다른 DRL 에이전트를 훈련시켰다: IS η(효율성 중심)와 IS d(위치 안정성 중심)이며, 각각 수영 효율성 또는 횡방향 이격도에 기반한 맞춤형 보상 함수를 사용한다.
• DRL 에이전트는 시뮬레이션 환경에서 시행착오를 통해 정책을 학습하며, 지역적 유속과 소용돌이도를 상태 관측치로 사용해 실시간 결정을 내린다.
• 기준 대조 케이스(단독 수영자 SS η 및 SS d)를 사용하여 유체 흐름 상호작용으로 인한 에너지 효익을 분리한다.
• 수영 효율(η), 추진력-출력(PThrust), 변형-출력(PDef), 운반 비용(CoT)과 같은 에너지 지표를 다양한 구성 간에 계산하고 비교한다.

실험 결과

연구 질문

• RQ1 자율 수영자들이 리더 물고기가 생성한 소용돌이 유체와 능동적으로 상호작용함으로써 수영 효율을 향상시킬 수 있는가?
• RQ2 특히 소용돌이 동기화와 관련하여 집단 수영에서 관찰된 에너지 절감의 물리적 메커니즘은 무엇인가?
• RQ3 강화학습에서 보상 함수의 선택이 효율적인 수영 자세와 궤적의 발생에 어떤 영향을 미치는가?
• RQ4 리더의 운동을 사전에 알지 못한 채, 후행자는 복잡하고 불안정한 유동장에 얼마나 잘 적응할 수 있는가?
• RQ5 LSTM을 통한 시간 기억이 동적 소용돌이 환경에서 안정적이고 에너지 효율적인 주행을 가능하게 하는 데 어떤 역할을 하는가?

주요 결과

• DRL로 훈련된 후행자(IS η)는 소용돌이 유체의 횡방향 유속과 머리 운동을 동기화함으로써 수영 효율을 η ≈ 1.0로 끌어올려 리더의 효율보다 100% 향상시켰다.
• IS η는 리더 뒤 ∆x ≈ 2.2L 지점에 자연스럽게 정착하며, 이는 소용돌이 고리의 주기적 방출과 일치한다. 또한 ∆x ≈ 1.5L 지점에서도 안정화되며, 이는 소용돌이 간격(0.7L 간격)과 대응한다.
• 최적의 소용돌이 간섭 시기 동안 후행자의 몸체 변형은 최소한이었으며, 이는 에너지 절감이 근육적 노력 증가가 아니라 유동 이용에서 비롯된다는 것을 시사한다.
• 위치에 대한 직접 보상이 없음에도 불구하고, IS η는 시간 기억(LSTM)을 활용해 안정적인 횡방향 위치(∆y ≈ 0)를 유지함으로써 동적 유동장에 대한 강력한 적응 능력을 보였다.
• 유리한 소용돌이 상호작용으로 인해 후행자의 추진력은 몸통 중앙부(0.2 < s/L < 0.4)에서 크게 향상되었고, 변형력은 낮게 유지되어 효율적인 에너지 수확이 확인되었다.
• 리더의 운동이 불안정해져도 훈련된 후행자(IS η)는 자율적으로 유체 흐름에 적응하여 뒤에 머무르며 장기적인 효율을 극대화함으로써 일반화 능력을 입증했다.